平武建站

ubuntu怎么搭建hadoop环境

本篇内容介绍了“ubuntu怎么搭建hadoop环境”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联是一家集网站建设,临颍企业网站建设,临颍品牌网站建设,网站定制,临颍网站建设报价,网络营销,网络优化,临颍网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

1 参考博文

http://blog.sina.com.cn/s/blog_75f4e17c0101h6x4.html
http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

2 安装准备

1.     Ubuntu 14.04

2.     JDK 版本 1.8.0_25

3.     Hadoop 版本 Hadoop-2.6.0

3 安装步骤

3.1 Linux 安装

  因为设备数量有限，所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 32位桌面版本。网上资料很多就不多做详述，需要花费些时间。

3.2 JDK安装

3.2.1 JDK下载

  本地选择的是 JDK  1.8.0_25下在地址为：http://www.oracle.com/technetwork/java/javase/downloads/index.html

3.2.2 JDK安装

  下载好后放入指定位置（如/usr/java），使用如下命令安装

 tar zxvf jdk-xxx-linux-xxx.tar.gz

（参考：http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html）

3.2.3 JDK配置

  1.进入/etc目录

  2.将JDK配置信息加入profile文件

# The following configuration is for Java
export JAVA_HOME=/usr/java/jdk1.8.0_25
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

  3.使用下面组合命令使配置生效

  chmod +x profile (这条命令需要超级权限)

  source profile

  4.使用下面，验证JDK安装

 java -version

  如果安装版本信息显示则安装成功

3.3 Hadoop安装

3.3.1 Hadoop下载

   地址为：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 

3.3.2 Hadoop安装

   将下载下来的Hadoop放入指定目录（/usr/hadoop）,使用如下命令安装

  tar xzf hadoop-2.6.0.tar.gz

3.3.3 Hadoop配置

   1.linux profile（路径：/etc）配置，如下图

# The following configuration is for hadoop
export HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_INSTALL/bin

  2.hadoop-env.sh（路径：$HADOOP_HOME/etc/hadoop）中把JAVA_HOME指向JDK安装根目录，如下

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_25

  3.yarn-env.sh（路径：$HADOOP_HOME/etc/hadoop）中把JAVA_HOME指向JDK安装根目录，如下

# some Java parameters export
JAVA_HOME=/usr/java/jdk1.8.0_25

  4.打开conf/core-site.xml（路径：$HADOOP_HOME/etc/hadoop）文件，编辑如下：

  
  
  
  
  
  
    
  fs.default.name    
  hdfs://localhost:9000     
     

  5.打开conf/mapred-site.xml（路径：$HADOOP_HOME/etc/hadoop）文件，编辑如下：

  
  
  
  
  
        
          
      mapred.job.tracker    
      localhost:9001     
         
    

  6.打开conf/hdfs-site.xml（路径：$HADOOP_HOME/etc/hadoop）文件，编辑如下：

  
  
dfs.name.dir  
/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2  
  
  
dfs.data.dir  
/usr/local/hadoop/data1,/usr/local/hadoop/data2  
  
  
dfs.replication  
2  
  

4 Hadoop启动

新版本启动命令Apache推荐使用下面两个命令

先进入$HADOOP_HOME/sbin下

1 ./start-dfs.sh

2 ./start-yarn.sh

另 ./start-all.sh依然可以使用，只是会提示“不推荐使用”，他内部分自动导向上面两个shell脚本

启动后如输入jps可以看下图信息，可以发现和1.x版本的区别，没有了JobTracker和TaskTracker，由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本！

若执行jps后存在如下五个服务，说明hadoop单机环境配置成功。

 ubuntu怎么搭建hadoop环境

5 测试安装

Hadoop自带服务测试

5.1 验证1

启动完后，可用jps查看，可看到两个服务己经启动

   启动WebAppProxyServer服务，在命令行输入如下命令：

$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR

   启动JobHistoryServer服务，在命令行输入如下命令：

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

5.2 验证2

启动完后可以使用下面三个连接进行查看

a.http://host:50070/dfshealth.jsp 打开NameNode web界面

b.http://host:19888/jobhistory 打开JobHistory web界面

c.http://host:8088/cluster 打开cluster web界面

5.3 验证3

启动Hadoop自带的map reduce程序

进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令

hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 10 100

如果正常运行结束则OK

“ubuntu怎么搭建hadoop环境”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


文章名称：ubuntu怎么搭建hadoop环境
标题网址：http://pwwzsj.com/article/pcjojo.html

其他资讯