Hadoop怎样安装

本篇内容介绍了“Hadoop怎样安装”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

成都创新互联公司是一家专业提供南丰企业网站建设,专注与成都网站建设、成都做网站、H5响应式网站、小程序制作等业务。10年已为南丰众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。

1、用vmware workstation建立虚拟机,开始先不选择安装包

内存选择:如果本机是4G内存,则分配虚拟机1G内存

Hadoop怎样安装

2、按默认要求来,完成虚拟机的初步配置

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取

Hadoop怎样安装

3、开始ubuntu的安装

选择镜像文件(我用的版本也在上面的网盘里下载),然后一步步的安装

Hadoop怎样安装

4、选择电脑名称为hd1,密码为123456。注意Your name设置为ubuntu

Hadoop怎样安装

5、打开Ubuntu虚拟机,打开终端编辑器

Hadoop怎样安装

6、安装并进入VMware Tools。安装通过点击虚拟机->安装VMware Tools进行安装。

Hadoop怎样安装

7、复制VMware Tools的压缩包到另一个文件目录下。这里放到了tmp目录下。

Hadoop怎样安装

8、解压VMWare Tools

Hadoop怎样安装

9、解压后进入vmware-tools-distrib

Hadoop怎样安装

10、继续编写命令进行安装 sudo./vmware-install.pl

Hadoop怎样安装

11、安装VMware Tools成功

Hadoop怎样安装

12、利用 sudo aptinstall vim安装vim。安装完成后如下图。

Hadoop怎样安装

13、输入reboot重启,同时重启后输入init 0关闭虚拟机

14、复制hd1文件夹,命名为hd2,放在存虚拟机的文件夹下

15、用记事本打开hd2文件夹下的hd1.vmx。修改其中的displayName为hd2.

再用VMware WorkStation打开hd1.vmx

Hadoop怎样安装

16、分别启动两台虚拟机

Hadoop怎样安装

17、根据电脑的ip配置/etc/hosts文件,给IP地址一个别名,方便后面操作。注意ip地址为你两台虚拟机的ip地址。用ifconfig命令可以查看本机IP。一般是191.168.开头的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2

Hadoop怎样安装

18、安装openssh-server

Hadoop怎样安装

19、启动ssh

Hadoop怎样安装

20、保证每次开机时自动启动ssh

Hadoop怎样安装

21、多机互信,两台虚拟机都要执行ssh-keygen-t rsa命令。

Hadoop怎样安装

22、进行密钥的互信,两台虚拟机都要执行cat id_rsa.pub >> authorized_keys命令。

Hadoop怎样安装

23、将hd1的文件拷到hd2上,同时把hd2的文件拷到hd1上

Hadoop怎样安装

24、验证已经实现双机互信

Hadoop怎样安装

25、在hd1上进行hadoop的安装

Hadoop怎样安装

26、在hd1和hd2上进行java的安装。

两台主机都要执行sudo apt install default-jre命令。

Hadoop怎样安装

27、在hd1和hd2上分别进行相关目录的创建

Hadoop怎样安装

接下来需要配置hadoop集群文件

配置文件有7个:

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env文件。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop

Hadoop怎样安装

29、配置yarn-env文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

Hadoop怎样安装

30、配置slave文件

hd1

hd2

Hadoop怎样安装

31、配置core-site文件

    fs.defaultFS

    hdfs://hd1:9000

 

    io.file.buffer.size

    131072

    hadoop.tmp.dir

    file:/home/ubuntu/hadoop/tmp

    hadoop.proxyuser.hduser.hosts

    *

    hadoop.proxyuser.hduser.groups

    *

Hadoop怎样安装

32、配置hdfs-site文件

   

        dfs.namenode.http-address

        hd1:50070

   

   

        dfs.namenode.secondary.http-address

        hd1:9001

   

   

        dfs.namenode.name.dir

        file:/home/ubuntu/hadoop/namenode

   

   

        dfs.datanode.data.dir

        file:/home/ubuntu/hadoop/hdfs

   

   

        dfs.replication

        1

   

   

        dfs.webhdfs.enabled

        true

   

   

        dfs.support.append

        true

   

   

        dfs.support.broken.append

        true

   

   

        dfs.permissions.enabled

        false

   

Hadoop怎样安装

33、配置mapred-site文件

注意先将mapred-site.xml.template文件拷出,然后再使用vim命令

Hadoop怎样安装

    mapreduce.framework.name

    yarn

    mapreduce.jobhistory.address

    hd1:10020

    mapreduce.jobhistory.webapp.address

    hd1:19888

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取

Hadoop怎样安装

34、配置yarn-site文件

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    yarn.nodemanager.aux-services.mapreduce.shuffle.class

    org.apache.hadoop.mapred.ShuffleHandler

    yarn.resourcemanager.address

    hd1:8032

    yarn.resourcemanager.scheduler.address

    hd1:8030

    yarn.resourcemanager.resource-tracker.address

    hd1:8031

    yarn.resourcemanager.admin.address

    hd1:8033

    yarn.resourcemanager.webapp.address

    hd1:8088

Hadoop怎样安装

35、在hd1和hd2上配置路径文件。执行下面两条命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin

Hadoop怎样安装

36、在hd1上加入hadoop路径到path路径下

Hadoop怎样安装

37、在hd1上格式化namenode,执行hadoop namenode -format命令

Hadoop怎样安装

38、在hd1上进行文件的分发,注意命令行当前所在的位置。

Hadoop怎样安装

39、验证是否安装成功

在hd1上建一个a.txt文件

Hadoop怎样安装

拷到hdfs文件里面去

Hadoop怎样安装

打印显示

Hadoop怎样安装

自此安装成功

“Hadoop怎样安装”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


新闻名称:Hadoop怎样安装
网站路径:http://pwwzsj.com/article/pjdddo.html