Hadoop部署之环境准备(一)
一、软硬件规划
ID | 主机类型 | 主机名 | IP | 应用软件 | 操作系统 | 硬件配置 |
---|---|---|---|---|---|---|
1 | 物理机 | namenode01 | 192.168.1.200 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
2 | 物理机 | datanode01 | 192.168.1.201 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
3 | 物理机 | datanode02 | 192.168.1.202 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
4 | 物理机 | datanode03 | 192.168.1.203 | jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 | CentOS7.4 | 6核CPU、8G内存、250存储 |
我这里规划的角色不是太好,如果是四台机器,建议大家按照我们下面的分配
创新互联建站是一家集网站建设,竹溪企业网站建设,竹溪品牌网站建设,网站定制,竹溪网站建设报价,网络营销,网络优化,竹溪网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
- ZooKeeper
ZooKeeper Server:namenode01 - HDFS
NameNode:namenode01
SecondaryNameNode:namenode01
DataNode:datanode[01-03] - YARN
ResourceManager:namenode01
NodeManager:datanode[01-03] - HBase
Master:namenode01
RegionServer:datanode[01-03] - Hive
HiveServer2:namenode01
Hive Metastore Server:namenode01 - Spark
Master:namenode01
Worker:datanode[01-03]
二、主机名解析
修改四台服务器的主机名。
192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 MySQL01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03
三、配置 SSH 互信
在namenode01节点上面进行操作。
ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03
四、创建用户
创建用户(4台机器相同操作)
useradd hadoop && echo '123456' |passwd --stdin hadoop
使用命令visudo
设置用户权限(4台机器相同操作),添加如下内容:
hadoop ALL=(ALL) ALL
五、JDK 的安装
下载JDK1.8,可以选择下载rpm包,直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
分享文章:Hadoop部署之环境准备(一)
文章路径:http://pwwzsj.com/article/gscgjs.html