hbase和hive的基本配置
hadoop配置在上篇博客已介绍,此处直接配置hbase和hive
我们一直强调成都网站制作、做网站对于企业的重要性,如果您也觉得重要,那么就需要我们慎重对待,选择一个安全靠谱的网站建设公司,企业网站我们建议是要么不做,要么就做好,让网站能真正成为企业发展过程中的有力推手。专业网站设计公司不一定是大公司,成都创新互联作为专业的网络公司选择我们就是放心。
master节点:lab201,slave节点:lab201,lab202,lab203
三个节点均执行如下操作( 以下以master结点为例)
[root@lab201 ~]# tar xf hbase-0.90.6-cdh4u6.tar.gz -C /usr/local/
[root@lab201 local]# ln -sv hbase-0.90.6-cdh4u6/ hbase
[root@lab202 ~]# vim /etc/profile.d/hbase.sh
HBASE_HOME=/usr/local/hbase
PATH=$HBASE_HOME/bin:$PATH
export HBASE_HOME PATH
[root@lab201 ~]# chown -R hduser.hduser /usr/local/hbase/
master节点配置:
[root@lab201 conf]# vim hbase-site.xml
hbase.rootdir hdfs://lab201:8020/hbase hbase.cluster.distributed true hbase.zookeeper.quorum lab201,lab202,lab203 hbase.zookeeper.property.clientPort 2222
[hduser@lab201 ~]$ vim /usr/local/hbase/conf/regionservers
lab201
lab202
lab203
[root@lab201 ~]# scp /usr/local/hbase/conf/hbase-site.xml /usr/local/hbase/conf/regionservers hduser@lab202:/usr/local/hbase/conf/
[root@lab201 ~]# scp /usr/local/hbase/conf/hbase-site.xml /usr/local/hbase/conf/regionservers hduser@lab203:/usr/local/hbase/conf/
[hduser@lab201 ~]$ start-hbase.sh 查看主节点上启动的进程
12717 HRegionServer
13533 HQuorumPeer
13600 HMaster
[hduser@lab202 conf]$ jps 查看从节点上启动的进程
4025 HRegionServer
3937 HQuorumPeer
验证是否正常:
web访问master的60010端口,slave的60030端口,查看能否正常访问
用shell连接Hbase进行功能测试:
[hduser@lab201 ~]$ hbase shell
hbase(main):003:0> create 'test', 'cf' 0 row(s) in 1.2200 seconds hbase(main):003:0> list 'table' test 1 row(s) in 0.0550 seconds hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1' 0 row(s) in 0.0560 seconds hbase(main):007:0> scan 'test' ROW COLUMN+CELL row1 column=cf:a, timestamp=1288380727188, value=value1 1 row(s) in 0.0590 seconds
hive配置:
三个节点上均执行如下操作(以master节点为例)
[root@lab201 ~]# tar xf hive-0.7.1-cdh4u6.tar.gz -C /usr/local/
[root@lab201 ~]# ln -sv hive-0.7.1-cdh4u6/ hive
[root@lab201 ~]# chown -R hduser.hduser /usr/local/hive/
[root@lab201 ~]# vim /etc/profile.d/hive.sh
HIVE_HOME=/usr/local/hive
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH
master进行如下操作
[root@lab201 conf]# cp hive-default.xml hive-site.xml
[root@lab201 conf]# cp hive-env.sh.template hive-env.sh
[root@lab201 conf]# scp hive-site.xml hive-env.sh root@lab2:/usr/local/hive/conf/
[root@lab201 conf]# scp hive-site.xml hive-env.sh root@lab3:/usr/local/hive/conf/
启动hive并测试:
[hduser@lab203 ~]$ hive
hive> create TABLE pokes( id INT, name string); hive> SHOW TABLES; hive> select * from pokes; hive> drop table pokes;
注;这只是最基本的配置,能够让hbase和hive运行起来,更多功能和用法请参考官方文档。本实验所用hadoop组件均下载自http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH3-Downloadable-Tarballs/CDH3-Downloadable-Tarballs.html,故所有组件已解决兼容性问题,实际配置过程根据软件版本和具体情况,个别地方可能需要做出调整。
本文标题:hbase和hive的基本配置
分享路径:http://pwwzsj.com/article/jppsji.html