hbase+hadoop完全分布式环境搭建

1、环境准备

linux系统:Centos6.4 release (Final) 下载地址:http://www.centos.org/

成都创新互联公司长期为近千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为金东企业提供专业的网站设计、成都网站设计,金东网站改版等技术服务。拥有10多年丰富建站经验和众多成功案例,为您定制开发。

jdk:1.7.0_45 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

hadoop:hadoop-2.6.0下载地址:http://apache.claz.org/hadoop/common/stable2/
hbase:hbase-0.98.8-hadoop2 下载地址:http://mirrors.gigenet.com/apache/hbase/stable/

2、配置步骤:2.1 安装jdk,别忘了修改 vim /etc/profile。2.2 ssh免密码登陆

说明:由于jdk的环境配置以及ssh面密码登陆一般不出什么问题,网上资料较多,故在此不做赘述

2.3 hadoop环境配置

本机分布式服务器

ip30:lingcloud30 (由于本台服务器配置相对较低,故用其作为NameNode,也是SecondaryNameNode。也是下面Hbase配置的HMaster)

ip29:lingcloud29(本台以及下面的两台作为DateNode。以及下面Hbase配置的HRegionServer)

ip31:lingcloud31
ip32:lingcloud32

2.3.1{hadoop}/etc/hadoop/core-site.xml配置

下面是我的lingcloud30的配置,有的有注释,方便理解

fs.defaultFS hdfs://lingcloud30:9000 hadoop.tmp.dir /usr/qhl/hadoopWorkspace/hadooptmp io.file.buffer.size 131072 hadoop.proxyuser.root.hosts lingcloud30 hadoop.proxyuser.root.groups *

2.3.2{hadoop}/etc/hadoop/hdfs-site.xml配置

dfs.datanode.handler.count 5 The number ofserver threads for the datanode. dfs.namenode.handler.count 5 The number ofserver threads for the namenode. dfs.replication 3 dfs.namenode.name.dir file:/usr/qhl/hadoopWorkspace/hdfs/name true dfs.permissions false dfs.federation.nameservice.id ns1 dfs.namenode.backup.address.ns1 lingcloud30:50100 dfs.namenode.backup.http-address.ns1 lingcloud30:50105 dfs.federation.nameservices ns1 dfs.namenode.rpc-address.ns1 lingcloud30:9000 dfs.namenode.rpc-address.ns2 lingcloud30:9000 dfs.namenode.http-address.ns1 lingcloud30:23001 dfs.namenode.http-address.ns2 lingcloud30:13001 dfs.dataname.data.dir file:/usr/qhl/hadoopWorkspace/hdfs/data true dfs.namenode.secondary.http-address.ns1 lingcloud30:23002 dfs.namenode.secondary.http-address.ns2 lingcloud30:23002 dfs.namenode.secondary.http-address.ns1 lingcloud30:23003 dfs.namenode.secondary.http-address.ns2 lingcloud30:23003 dfs.datanode.max.xcievers 8192

2.3.3{hadoop}/etc/hadoop/yarn-site.xml配置

yarn.resourcemanager.address lingcloud30:18040 yarn.resourcemanager.scheduler.address lingcloud30:18030 yarn.resourcemanager.webapp.address lingcloud30:18088 yarn.resourcemanager.resource-tracker.address lingcloud30:18025 yarn.resourcemanager.admin.address lingcloud30:18141 yarn.nodemanager.aux-services mapreduce.shuffle

2.3.4{hadoop}/etc/hadoop/mapred-env.sh配置

添加

exportHADOOP_MAPRED_PID_DIR=/usr/qhl/hadoopWorkspace/haddopMapredPidDir # The pidfiles are stored. /tmp by default.

2.3.5{hadoop}/etc/hadoop/slaves配置

lingcloud32 lingcloud31 lingcloud29

2.3.6 小结

以上配置复制到其他node节点,按照相同配置即可。

3.hbase配置3.1habs-env.sh环境配置

exportJAVA_HOME=/usr/lib/jdk/jdk1.7.0_45/ #你的jdk安装目录 exportHBASE_PID_DIR=/usr/qhl/hbaseWorkspace/pids # The directory where pid files arestored. /tmp by default. exportHBASE_MANAGES_ZK=true #使用hhase自带的zookeeper

3.2hbase-site.xml配置

hbase.rootdir hdfs://lingcloud30:9000/hbase hbase.zookeeper.property.dataDir /usr/qhl/zookeeper hbase.cluster.distributed true which directsHBase to run in distributed mode, with one JVM instance perdaemon. hbase.tmp.dir /usr/qhl/hbaseWorkspace/hbasetmp hbase.zookeeper.quorum lingcloud29,lingcloud31,lingcloud32 hbase.master lingcloud30:60000 hbase.master.port 60000 The portmaster should bind to. hbase.master.maxclockskew 200000 Time difference ofregionserver from master

3.3 regionserver 配置

lingcloud29 lingcloud31 lingcloud32

4.配置成功后浏览器截图

我在{hadoop}etc/hadoop下的hdfs-site.xml中配置了端口为23001. 配置项是dfs.namenode.http-address.ns1

访问18088端口会出现如下界面:

hbase默认端口为60010

5.总结和参考文献

本人必须承认,很多东西都是从网上学到的,参考了很多的博文,也遇到了很多的错误,但是由于日志中间没有保存,错误就不贴了。同时由于参考了很多的博文,在此也不能一一列举了,本篇博文是我的第一篇,有什么不对之处,还请批评指正,共同学习。


本文名称:hbase+hadoop完全分布式环境搭建
网站地址:http://pwwzsj.com/article/cjooso.html