Hadoop的安装和配置方法
本篇内容介绍了“Hadoop的安装和配置方法”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
目前创新互联已为成百上千的企业提供了网站建设、域名、虚拟主机、网站托管、服务器托管、企业网站设计、兴安网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
相关软件下载：微云网盘链接：https://share.weiyun.com/5uIOSHe 密码：osmzbn
JDK 8 : https://jdk.java.net/java-se-ri/8-MR3
Hadoop 3.2.1 : https://hadoop.apache.org/releases.html
如果还没有安装和设置虚拟机，参考上一篇文章 Ubuntu 安装和配置，这里默认服务器用户名为 hadoop，机器名称为 master，且把 master 的 IP 写入了 hosts 文件和配置 SSH 免密登录。这将介绍 Hadoop 的两种安装方式，并简单使用和操作 MapReduce 和 HDFS。
主要内容：
Hadoop 伪分布安装
Hadoop 集群安装
动态增加、删除节点
1、必要软件的安装
Hadoop 3 最低支持 Java 8，这里使用 Oracle 的 OpenJDK 8，可以提取下载好放到共享文件夹。
# 解压和创建链接文件 sudo tar -xvf openjdk-XXX_XXX.tar.gz /user/local sudo ln -s /user/local/openjdk-XXX_XXX /user/local/openjdk-1.8 # 将 JAVA_HOME 添加到环境变量 sudo vim /etc/profile # 添加如下内容 export JAVA_HOME=/user/local/openjdk-1.8 export PATH=$JAVA_HOME/bin:$PATH # 测试 java -version java version "1.8.0_XXX" # 安装 SSH pdsh sudo apt install ssh sudo apt install pdsh
Hadoop 支持如下三种模式安装：
本地独立模式
单节点模式
集群模式
支持平台：推荐 GNU/Linux，对于 Windows 平台这里不做介绍
2、伪分布式安装
2.1、下载和解压 Hadoop
tar -xvf ./hadoop-3.X.X.tar.gz ln -s ./hadoop-3.X.X.tar.gz ./hadoop # 设置 Hadoop 安装目录添加 PATH vim .bashrc # 在文件后面添加如下内容 export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_MAPRED_HOME=/home/hadoop/hadoop # PDSH_RCMD_TYPE 解决 pdsh@master: master: ssh exited with exit code 1 export PDSH_RCMD_TYPE=ssh export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
设置 Hadoop 的 Java Home 等参数
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 找到 export JAVA_HOME 的位置，去掉注释修改为 JAVA_HOME 路径
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/user/local/openjdk-1.8
# 可选修改 Hadoop Home HADOOP_CONF_DIR
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
# 可选 JVM Heap 堆，相当于 -Xms512m -Xmx1024m
export HADOOP_HEAPSIZE_MAX=1024m
export HADOOP_HEAPSIZE_MIN=512m查看 hadoop 命令
hadoop version # 会看到如下输出 Hadoop 3.X.X
本地独立模式
在默认情况下，Hadoop 被配置为非分布式模式作为单个 Java 进程运行，这对调试非常有用。
cd $HADOOP_HOME mkdir input cp etc/hadoop/*.xml input # 正则表达式匹配所有 XML 文件中的单词 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+' cat output/* # 可以看到如下输出 1 dfsadmin
2.2、伪分布模式
首先需要配置好默认的 SSH 免密登录，如果已经配置则跳过：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys # 测试 ssh localhost
在下面的命令中，默认切换到 hadoop 安装目录cd $HADOOP_HOME
对于 vim 不熟悉可以使用 Visual Studio Remote 连接到 master 服务器，然后打开 Hadoop 的配置目录。参考 https://code.visualstudio.com/docs/remote/wsl
文件 vim etc/hadoop/core-site.xml,将内容修改成如下
fs.defaultFS hdfs://localhost:9000
文件 vim etc/hadoop/hdfs-site.xml ,修改内容如下
dfs.replication 1
运行
# 格式文件系统 bin/hdfs namenode -format # 运行 DataNode 和 NameNode sbin/start-dfs.sh # 可以看到如下的输出 Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [master]
通过浏览器访问 http://master:9870/ ，master 替换为 Ubuntu 所在的 IP 或者写入主系统的 hosts.
测试
# 创建 HDFS 的目录，hadoop 是你的用户名此相当于 Linux 的个人主目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/hadoop # 在 HDFS 的 /user/hadoop 下创建 bin/hdfs dfs -mkdir input # 将文件上传到 HDFS bin/hdfs dfs -put etc/hadoop/*.xml input # 运行 Hadoop 的示例程序 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+' # 将运行结果拿到本地 bin/hdfs dfs -get output output cat output/* # 或者直接在 HDFS 看 ： bin/hdfs dfs -cat output/* #同样可以看到如下的输出 跟本地独立模式不一样原因是修改了 hdfs-site.xml 1 dfsadmin 1 dfs.replication
2.3、单节点的 Yarn
文件配置：etc/hadoop/mapred-site.xml
mapreduce.framework.name yarn mapreduce.application.classpath $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
文件 etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
查看运行着什么服务的命令是
jps,可以将此时的 Hadoop 安装配置目录复制一份作为本地独立模式或伪分布模式的配置备份。
关闭 hdfs 和 Yarn
sbin/stop-yarn.sh sbin/stop-dfs.sh
3、集群设置
这里采用两台 VM 虚拟机（master、worker1）搭建，worker2 是用于下一小节，将新的节点添加到 Hadoop 集群的，理论上可以支持上千台的集群。
关闭 hdfs 和 Yarn 后关闭当前的虚拟机，将虚拟机拷贝两份，命名为 worker1、worker2，一台一台的设置，因为先前的跟 master IP 地址一样会冲突，参考 Ubuntu Server 安装与设置 配置本地 IP 地址（例如 192.168.128.11、192.168.128.12），设置 hostname 为 worker1 、worker2，然后关机。
启动 master、worker1 的虚拟机，登录 master，配置各个节点的 hosts sudo vim /etc/hosts：
# 各个节点的配置，替换为虚拟机实际的 ip 192.168.128.10 master 192.168.128.11 worker1 192.168.128.12 worker2 # 保存后通如下命令分发到 worker1、worker2等,需要启用 root 登录权限 scp /etc/hosts root@worker1:/etc/hosts # 检查不同主机间是否可以免密登录 # 分别在 master、worker1 等尝试 ssh username@master、ssh username@worker1 ssh hadoop@worker1
3.1、Hadoop 常用的配置
常用的配置文件
| 文件 | 格式 | 描述 |
|---|---|---|
| hadoop-env.sh | bash脚本 | Hadoop 运行的环境变量，会覆盖系统的设置 |
| mapred-env.sh | bash脚本 | MapReduce 运行用到的环境变量，会覆盖 hadoop-env.sh |
| yarn-env.sh | bash脚本 | Yarn 运行用到的环境变量，会覆盖 mapred-env.sh |
| core-site.xml | xml配置 | Hadoop Core 配置，配置 HDFS、MapReduce、Yarn 常用的 IO 设置 |
| hdfs-site.xml | xml配置 | HDFS 配置，namenode、datanode、secondary namenode等 |
| mapred-site.xml | xml配置 | MapReduce 守护进程配置，如 jobhistoryserver |
| yarn-site.xml | xml配置 | Yarn 守护进程配置，如 ResourceManger、NodeManager、Web 应用代理服务等 |
| workers | 纯文本 | 运行 datanode 的节点的机器，一行一个( hadoop 的名称是 slaves) |
| log4j.properties | Java属性 | 日志配置文件 |
环境变量
Hadoop 的环境变量通过 bash 脚本 设置。例如可以设置 JAVA_HOME，JVM 内存堆大小、日志存放目录等
JAVA_HOME : 必须指定，推荐使用 hadoop-env.sh 的方式，保证集群使用相同版本的 JDK
HADOOP_HEAPSIZE_MAX ：最大 JVM 内存堆
HADOOP_HEAPSIZE_MIN：最小 JVM 内存堆
HADOOP_LOG_DIR： 日志存放目录
HADOOP_HOME: Hadoop 的根目录
HADOOP_MAPRED_HOME: MapReduce 的主目录
3.1.2、Hadoop 配置
文件etc/hadoop/core-site.xml
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/hadoop/cluster
对于设置的临时目录等，需要确保运行 Hadoop 集群的用户有写入和读取的权限，这里使用用户主目录下的 cluster 文件夹，相关的目录不建议存放到 Hadoop 的安装目录下。
文件 etc/hadoop/hdfs-site.xml
dfs.replication 1 dfs.namenode.name.dir /home/hadoop/cluster/dfs/name dfs.datanode.name.dir /home/hadoop/cluster/dfs/data dfs.datanode.name.dir /home/hadoop/cluster/dfs/namesecondary
文件etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
文件 etc/hadoop/mapred-site.xml
mapreduce.framework.name yarn mapreduce.application.classpath $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
文件workers,设置运行 datanode 的主机，一行一个主机名
worker1
3.2、运行 Hadoop
将 Hadoop 复制到 worker1 。
# 复制 .bashrc 的一些环境变量，可选 scp ~/.bashrc hadoop@worker1:~/.bashrc # 将 Hadoop 安装目录复制到 worker1， scp -r ~/hadoop hadoop@worker1:~/hadoop
格式化 HDFS
# master 主机运行，只需要运行一次，第二次运行会报错 hdfs namenode -format <集群名称>
开启 namenode、datanode
# master 运行 hdfs --daemon start namenode # master 和每个 worker 分别运行 hdfs --daemon start datanode # 配置好 ssh 免密登录后，只需要在 master 运行，等同于上面的两个命令（二选一） start-dfs.sh
使用 jps 命令查看是否运行成功
master 运行的服务：
8436 ResourceManager 8200 SecondaryNameNode 11275 Jps 10684 NameNode
worker1 运行的服务：
5267 Jps 4966 DataNode 5143 NodeManager
通过浏览器访问 http://master:9870/dfshealth.html 可以看到有一个 datanode。（嘻嘻，截错图了）
启动 Yarn：
# 在 ResourceManager 运行如下命令，我们这里设置为 master yarn --daemon start resourcemanager yarn --daemon start nodemanager # 脚本，等同于上面两个个命令（二选一） start-yarn.sh
使用浏览器访问 http://master:8088/cluster
启动 JobHistory Server
记录已经运行完的 MapReduce 作业放到 HDFS 目录，默认配置已经够用了，所以上面没有配置
# master 下运行 mapred --daemon start historyserver
浏览器访问 http://master:19888/jobhistory
master 运行 start-all.sh 则会根据配置文件开启所有节点及其所配置的服务。
测试
# 创建 HDFS 的目录，hadoop 是你的用户名此相当于 Linux 的个人主目录 bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/hadoop # 在 HDFS 的 /user/hadoop 下创建 bin/hdfs dfs -mkdir input # 将文件上传到 HDFS bin/hdfs dfs -put etc/hadoop/*.xml input # 运行 Hadoop 的示例程序 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+' # 将运行结果拿到本地 bin/hdfs dfs -get output output cat output/* # 或者直接在 HDFS 看 ： bin/hdfs dfs -cat output/* 1 dfsadmin 1 dfs.replication
3.3、关闭 Hadoop
关闭 namenode、datanode
# master 运行 hdfs --daemon stop namenode # master 和每个 worker 分别运行 hdfs --daemon stop datanode # 配置好 ssh 免密登录后，只需要在 master 运行，等同于上面的两个命令（二选一） stop-dfs.sh
关闭 Yarn：
# 在 ResourceManager 运行如下命令，我们这里设置为 master yarn --daemon stop resourcemanager yarn --daemon stop nodemanager # 脚本，等同于上面两个个命令（二选一） stop-yarn.sh
关闭 JobHistory Server
# master 下运行 mapred --daemon start historyserver
master 执行 stop-all.sh 用于关闭集群所有节点的所有服务。
4、动态增加、删除节点
开启 worker2 虚拟机，虚拟机设置部分见，3、集群设置 ，开启 master、worker1 虚拟机。
4.1、将 worker2 加入集群
开启 master 和 worker1 的 Hadoop 集群：
# master 主机上执行 start-all.sh
在 master 的 Hadoop 配置文件workers,添加 worker2 作为 datanode，修改完成后使用 scp 命令同步到 worker1 和 worker2。TODO：了解 zookeeper 相关配置实现配置文件同步。
worker1 worker2
登录 worker2 ,
# 在 worker2 单独启动 datanode，nodemanager # 对于其他功能节点，新加入的只需要在本地启动即可，不建议通过脚本的方式 hdfs --daemon start datanode yarn --daemon start nodemanager
# 刷新 datanode 和 yarn hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes
通过浏览器访问 http://master:9870/dfshealth.html ，可以看到 worker2 成功加入 集群。
4.2、将 worker1 移出集群
Hadoop 配置文件
workers的作用是 Hadoop 脚本如 start-all.sh、stop-all.sh 通过其配置向整个集群发出操作指令，如开启整个集群、关闭整个集群。Hadoop 的 namenode 守护进程是不使用的 workers 文件的。实际上允许连接到 namenode 的节点通过文件
hdfs-site.xml配置。在没有配置的情况下，默认所有节点都可以连接。严格的来说，上面的配置都是不完整的，集群上所有的节点都应该明确管理。
使用 stop-all.sh 关闭集群， 在 master 机器上，新建 hosts.includes 表示允许连接的节点配置，文件内容分别如下：
worker1 worker2
文件 hdfs-site.xml 新增如下配置：
dfs.hosts /home/hadoop/hadoop-3.2.1/etc/hadoop/hosts.includes
文件 yarn-site.xml
yarn.resourcemanager.nodes.include-path /home/hadoop/hadoop-3.2.1/etc/hadoop/hosts.includes
使用 scp 同步到 worker1、worker2，然后启动 Hadoop 集群。假设有 worker3 按照 4.1、将 worker2 加入集群的方式加入集群，是不能连接到 namenode 的了，参考上面第一步将其加入 host.includes 文件即可再启动即可。
cd ~/hadoop-3.2.1/etc/hadoop scp ./* xian@worker1:~/hadoop-3.2.1/etc/hadoop scp ./* xian@worker2:~/hadoop-3.2.1/etc/hadoop # 启动集群 start-all.sh
对于要将节点退出 Hadoop 集群，最简单的方式就是将这个节点直接关闭：
# 错误示范 hdfs --daemon stop datanode
HDFS 具有容错性，在多个副本的集群直接关掉一两个节点还不会导致集群数据的丢失。然而这是不推荐的，就像在本文里，只有一个文件副本，直接关闭一个 datanode，那么该节点的数据会直接从集群消失。正确的做法是将需要退出的 datanode 告知 namenode，Hadoop 守护进程就会将该节点的数据复制到其他节点，然后需要移除的节点进入 Decommissioned 才可以移除。
正确示例：
第一步 : 告诉 Hadoop 我要移除某个节点了移除节点的通过 exclude 文件控制，通过 dfs.hosts.exclude 和 yarn.resourcemanager.nodes.exclude -path 这两个属性配置。新建 hosts.excludes 文件，加入 worker1 ，表示要将 worker1 排除。
worker1
文件 hdfs-site.xml 新增如下配置：
dfs.hosts.exclude /home/hadoop/hadoop-3.2.1/etc/hadoop/hosts.excludes
文件 yarn-site.xml
yarn.resourcemanager.nodes.exclude-path /home/hadoop/hadoop-3.2.1/etc/hadoop/hosts.excludes
使用 scp 同步到 worker1、worker2。
第二步：更新 namenode 和 resourcemanager将要移除的节点数据拷贝到其他节点，并更新 namenode 的元数据等
hdfs dfsadmin -refreshNodes # Refresh nodes successful yarn rmadmin -refreshNodes # INFO client.RMProxy: Connecting to ResourceManager at master/192.168.128.10:8033 # 数据平衡 start-balancer.sh
查看 datanode 是否已经移除：执行完成后执行 hdfs dfsadmin -report 或者 web 页面可以看到 worker 处于 Decommissioned 。
Decommission Status : Decommissioned
In service:正常服务
Decommissioning：复制数据中
Decommissioned ： 数据复制完成，可以移除该节点
Web 页面：http://master:9870/dfshealth.html#tab-datanode ，刷新，找到 worker1
查看 Yarn 的 ResourceManager 是否已经移除： 执行命令 yarn node -list --all,查看 节点状态：
worker1:44743 DECOMMISSIONED worker1:8042 0
RUNNING ：运行中
DECOMMISSIONED : 可以移除了
web 页面刷新 ：http://master:8088/cluster/nodes/decommissioned 也是显示 Decommissioned
可能遇到的错误一个 master ，两个 worker 集群的时候， worker1 的 datanode 一直不显示 Decommissioned。 后面加多了两个 worker ，worker1 正常挂 Decommissioned 状态。一个 master ，两个 worker 集群的不成功原因分析：
dfs.replication ： 属性先前我设置为 2，虽然后面改成了 1，但可能没有让其生效，退出 worker1 后 导致集群中 datanode 数量小于 2 ，datanode 运行中数量要大于 dfs.replication 的值才可以移除某个节点。TODO：补充刷新 dfs.replication 的命令。
HDFS 集群相关的设定，不允许移除 worker1 后只剩下一个 worker2 节点，TODO： 看源码。
退出安全模式 hadoop dfsadmin -safemode
不是这个原因 hdfs dfsadmin -safemode enter/leave提示：对于数据量比较大的集群，Decommissioning 数据移动的状态会比较长的时间，可以把 dfs.replication 设置相对小点，减少数据量的拷贝。TODO 待实验
第三步：从 hosts.includes、hosts.excludes、workers 删除需要移除的节点记录。同步配置文件，然后运行：
hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes # 数据平衡 start-balancer.sh
第四步：关闭 woker1
hdfs --daemon stop datanode yarn --daemon stop nodemanager sudo poweroff
通过 hdfs-site.xml 配置 hosts.includes、hosts.excludes 两个文件的情况下，第一二列表示节点是否出现在改文件中：引用「Hadoop 权威指南（中文版）」P.333
| includes | excludes | 解析 |
|---|---|---|
| 否 | 否 | 节点无法连接 |
| 否 | 是 | 节点无法连接 |
| 是 | 否 | 节点可连接 |
| 是 | 否 | 节点可连接，将被移除 |
遇到的错误：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM
原因是把 master 和 worker1 都作为 worker 了，但成功启动，最后发现，master 还是还是不要加入 workers 文件作为 datanode。
“Hadoop的安装和配置方法”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！
当前题目：Hadoop的安装和配置方法
本文网址：http://pwwzsj.com/article/jccgos.html
