安装hadoop要点有哪些-创新互联

安装hadoop要点有哪些,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

创新互联公司长期为上千余家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为清镇企业提供专业的做网站、成都网站设计清镇网站改版等技术服务。拥有10余年丰富建站经验和众多成功案例,为您定制开发。

1、安装JDK

       tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/

  vi ~/.bash_profile

JAVA_HOME=/root/training/jdk1.7.0_75

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

  source ~/.bash_profile

修改这个vi /etc/selinux/config     SELINUX=disabled

可以查看环境变量 vi /etc/profile

Hadoop配置环境

  vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.4.1

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

使环境变量生效:

source ~/.bash_profile

修改  cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

27 #export JAVA_HOME=${JAVA_HOME}

28 export JAVA_HOME=/root/training/jdk1.7.0_75

可以写一个例子进行测试

I love Beijing

I love China

Beijing is the capital of China

运行:hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt  ~/data/output

安装伪分布模式

   dfs.replication

   1

fs.defaultFS

hdfs://192.168.106.2:9000



hadoop.tmp.dir

/root/training/hadoop-2.4.1/tmp



yarn.resourcemanager.hostname

192.168.137.111



yarn.nodemanager.aux-services

mapreduce_shuffle

(*) 对HDFS格式化

     hdfs namenode -format

启动Hadoop

    start-all.sh

-------------免登陆配置------------------

1、产生密钥对

  ssh-keygen -t rsa

2、公钥给别人

  ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111

  改名:.ssh/authorized_keys

 /root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

可以更改缓存

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联-成都网站建设公司行业资讯频道,感谢您对创新互联的支持。


当前标题:安装hadoop要点有哪些-创新互联
标题链接:http://pwwzsj.com/article/dcoeoh.html