hadoop零散笔记
查找有没有这个软件通过管道查询:sudo apt-cache search ssh | grep ssh
在静安等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站建设、做网站 网站设计制作按需设计,公司网站建设,企业网站建设,高端网站设计,成都全网营销推广,成都外贸网站建设,静安网站建设费用合理。
安装的话:sudo apt-get install xxxxx
安装ssh后要生成一个文件即执行:ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
最后在soft/haoop/etc/hadoop目录下的三个文件中执行core-site.xml、hdfs-site.xml、mapred-site.xml中配置
-----------------------------------------------------
查看端口:netstat -lnpt netstat 或netstat -plut 。查看所有的端口:netstat -ano
--------------------------------------------------------------
把文件放到哪里用 hadoop fs -put xxxx /xxxx/xxxxx/xxx
往上面集群上放文件:hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /home/ubuntu/hell.txt /user/ubuntu/data/
在集群上下载文件是:hadoop --config /soft/hadoop/etc/hadoop_cluster fs -get /user/ubuntu/data/hello.txt bb.txt
查看文件的健康情况:hdfs --config /soft/hadoop/etc/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt
通过scp远程复制 :scp -r /xxx/x
格式化文件系统:hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format
touch 是建一个文本文件
从一个虚拟机登录到另个虚拟机ssh s2 ,如果是ssh s2 ls ~ 的话就是显示一列列是的样子 。如果执行
ssh s2 ls ~ | xargs 是显示一横的内容
查看集群状况:hadoop --config /soft/hadoop/etc/hadoop_cluster fs -lsr /
把文件放到集群上面就是hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put xxxxx 后面是加所放的路径位置
查看进程 ssh s2 jps 。ps -Af 也是查看进程 。杀死进程是kill -9 后面加进程的端口号
su root 根用户
--------------------------------------------------
HDFS概念:namenode & datanode
namenode:镜像文件+编辑日志,存放于本地磁盘,以及数据节点信息,不含block信息。block信息在cluster启动时由datanode重建
datanode:work节点,存储检索block定期向namenode发送block list
在usr/local/sbin下切换到su root 用户下建脚本,编写你想要的执行脚本
修改blocksize大小 ,默认是128m
它在[hdfs-site.xml]
dfs.blocksize = 8m 设置块大小是8M
1、测试方式 :put 文件 > 8m, 通过webui查看块大小
---------------------------------------------------------
hadoop:可靠、可伸缩、分布式的计算框架,开源软件
四大模块:1、common ----hadoop-commom-xxx.jar
2、hdfs
3、mapreduce
4、yarn
hadoop完全分布式:
1、hdfs --->NameNode、Datanode、SecondaryNode(辅助名称节点)
2、Yarn---->ResourceManager(资源管理器)、NodeManager(节点管理器)
---------------------------------------------------
配置静态ip进入etc的network里面下编辑sudo nano interfaces:
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth0
iface eth0 inet dhcp
iface eth0 inet static(设置为静态的ip)
address 192.168.92.148(客户机的ip)
netmask:255.255.255.0(客户机的)
gateway 192.168.92.2 (NAT网关地址)
DNS-nameservers 192.168.92.2
最后是重启网卡:sudo /etc/init.d/networking restart
-------------------------------------------------
客户机关机命令:
1、sudo poweroff
2、sudo shutdown -h o
3、sudo halt
------------------------------
配置文本模式
进入到/boot/grub里面查看一下
再进入cd /etc/default里面执行gedit grub
在#GRUB_CMDLINE_LINUX_DEFAULT="quiet"的下面编写GRUB_CMDLINE_LINUX_DEFAULT="text"
在# Uncomment to disable graphical terminal (grub-pc only)下面编写:
GRUB_TERMINAL=console //打开注释
改后执行sudo update-grub最后执行重启sudo reboot
-----------------------------------------
启动所有的数据节点:
hadoop-daemons.sh start namenode//在名称节点服务器上执行启动名称节点
hadoop-daemons.sh start datanode//在指定的datanode上执行,启动所有的数据节点
hadoop-daemon.sh start secondsrynamenode//启动辅助名称节点
-------------------------------------------------------
hdfs getconf 能查看到节点配置信息。比如hdfs getconf -namenode 可以知道是在s1客户机上运行
-----------------------------------------------------------------
四大模块:
1、common
hadoop-coommon-xxx.jar
core-site.xml
core-default.xml
2、hdfs
hdfs-site.xml
hdfs-defailt.xml
3、mapreduce
mapre-site.xml
mapred-default.xml
4、yarn
yarn-site.xml
yarn-default.xml
----------------------------------
常用的端口:
1、namenode rpc //8020 webui //50070
2、datanode rpc //8032 webui //50075
3、2nn webui //50090
4、historyServerwebui //19888
5、resourcmanager webui//8088
--------------------------------------
dfs.hosts:决定能够连接namenode
dfs.hosts.exclude:决定不能连接namenode
dfs.hosts dfs.hosts.exclude
---------------------------------------------
0 0//不能连接
0 1//不能连
1 0//能连
1 1//能连会退役
---------------------------------------------
安全模式
1、namenode启动时,合并p_w_picpath和edit成新的p_w_picpath,并产生新的edit log
2、整个智能safe模式下,客户端只能读取
3、查看nameode是否位于安全模式
hdfs dfsadmin -safemode get //查看安全模式
hdfs dfsadmin -safemode enter //进入安全模式
hdfs dfsadmin -safemode leave //离开安全模式
hdfs dfsadmin -safemode wait //等待安全模式
4、手动保存名字空间:dfsadmin -saveNamespace
5、手动保存镜像文件:hdfs dfsadmin -fetchImage
6、保存元数据:(保存在hadoop_home下即:hadoop /logs/下)hdfs dfsadmin -metasave xxx.dsds
7、start-balancer.sh :启动均衡器,目的让集群数据存储上更加平均,提高整个集群的性能(一般我们在增加节点的情况下才启动均衡器)
8、hadoop fs -count统计目录
--------------------------------------------------
Hadoop Snapshot快照:就是把当前的情况拍照保存起来。一般目录默认的情况是不能创建快照的。必须执行hdfs dfsadmin -allowSnapshot /user/ubuntu/data。允许创建快照,后面跟的是你想创建快照的地址路径。在这里允许创建快照后我们就可以执行hadoop fs -createSnapshot /user/ubuntu/data snap-1创建快照了。snap-1是你创建快照名。查看快照的话直接hadoop fs -ls -R /user/ubuntu/data/.snapshot/。还有你在创建快照的情况下是不能禁用快照的
1、创建快照hadoop fs [-createSnapshot
2、删除快照hadoop fs [-deleteSnapshot
3、重命名快照hadoop fs [-renameSnappshot
4、允许目录快照hadoop dfsadmin [-allowSnapshot
5、禁用目录快照hadoop dfsamdin[-disallowSnapshot
------------------------------------------
回收站
1、默认是0秒,意味着禁用回收站
2、设置文件回收站的驻留时间[corep-site.xml] fs.trash.interval=1 //分钟数计算
3、通过shell命令删除的文件,会进入trash
4、每个用户都有自己的回收站(目录) 即:/user/ubuntu/.Trash
5、编程方式删除不进入回收站,立即删除,可以调用。moveToTrash()方法,返回false,说明禁用回收站或者已经在站中
回收站:hadoop默认的回收站是关闭的,时间单位:分钟对应当前用户文件夹的.Trash目录。rm时会将文件移动到该目录下
[core-site.xml]
回收站:恢复文件。将.Trash目录的文件移动出即可:hadoop fs -mv /user/ubuntu/.Trash/xx/x/x data/
清空回收站:hadoop fs -expunge
测试删除回收站:hadoop fs -rm -R /user/ubuntu/.Trash
-----------------------------------
配额:quota
1、目录配额:hdfs dfsadmin -setQuota N /dir//N > 0 ,目录配额。1:表示空目录,不能放置任何元素
2、空间配额 :hdfs dfsadmin -setSpaceQuota
hadoop fs === hdfs dfs//文件系统的操作命令
-clsSpaceQuota //清除空间配额
-clsQuota //清除目录配额
---------------------------------------------------
oiv可以查看镜像文件内容 -i是输入文件 -o是输出文件。XML是处理器
具体操作:hdfs oiv -i fsp_w_picpath_000000000000000054 -o ~/a.xml -p XML
查看edit_xxx编辑日志文件:hdfs oev -i xxx_edit -o xxx.xml -p XML
镜像文件是不是在/hadoop/dfs/name/current 这里?
cat: fsp_w_picpath_0000000000000054
bg %是让软件在后台运行
-----------------------------------------------------------
刷新节点:hdfs dfsadmin -refreshNodes
-----------------------------------------
分享题目:hadoop零散笔记
转载源于:http://pwwzsj.com/article/peosci.html