Hadoop2.2.0如何编译

这篇文章主要介绍Hadoop2.2.0如何编译,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新新互联,凭借十载的成都做网站、成都网站设计、成都外贸网站建设经验,本着真心·诚心服务的企业理念服务于成都中小企业设计网站有上1000+案例。做网站建设,选成都创新互联

Apache提供了Hadoop2.2.0 32位版本以及源码,但是目前系统中大多使用的是64位系统,所以我们需要自己利用源码进行重新编译64位版本。

我使用的是Ubuntu12版本系统

安装依赖包的命令

sudo port install libtool
sudo port install cmake
sudo port install ncurses 
sudo port install openssl 
sudo port install maven3  

还需要安装jdk,jdk请使用1.6或1.7版(推荐)。

注:jdk 1.8 编译会出现问题,具体原因不明

还需要安装ssh

sudo apt-get install openssh-client
sudo apt-get install openssh-server

maven

sudo apt-get install maven

如果需要编译时生成doc文档,则需要安装findbugs

http://sourceforge.jp/projects/sfnet_findbugs/releases/

解压配置findbugs

通信使用到了rcp 所以需要protoc

https://code.google.com/p/protobuf/downloads/list

编译前需要先修改hadoop源码中的一个配置(这应该是hadoop中的一个BUG)

hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/pom.xml


第55行下增加内容变为:

56    
         org.mortbay.jetty
         jetty-util
         test
    

    
         org.mortbay.jetty
         jetty
         test
    

编译命令

生成docs

mvn package -DskipTests -Pdist,native,docs

不生成docs

mvn package -DskipTests -Pdist,native

我编译源码时/etc/profile文件中的一些配置信息

export JAVA_HOME=/usr/app/jdk1.7.0_25

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export PATH=/home/ricardo/apache-maven-3.0.5/bin:$PATH

export FINDBUGS_HOME=/home/ricardo/findbugs-3.0.0

export PATH=FINDBUGS_HOME/bin:$PATH

export HADOOP_PROTOC_PAT=/usr/local/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

export FORREST_HOME=/home/ricardo/apache-forrest-0.9

export PATH=$PATH:$FORREST_HOME/bin

编译的整个过程大约需要40多分钟,具体时间取决于网络与计算机性能

以上是“Hadoop2.2.0如何编译”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


当前标题:Hadoop2.2.0如何编译
URL网址:http://pwwzsj.com/article/pechcp.html