平武建站

Hadoop1.x和Hadoop2.x有什么区别

这篇文章给大家分享的是有关Hadoop1.x和Hadoop2.x有什么区别的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

创新互联公司-专业网站定制、快速模板网站建设、高性价比镇原网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式镇原网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖镇原地区。费用合理售后完善，十多年实体公司更值得信赖。

Hadoop 2.0 产生背景

  • Hadoop 1.0 中HDFS和MapReduce在高可用、扩展性等方面存在问题

    • JobTracker访问压力大，影响系统扩展性；

    • 难以支持除MapReduce之外的计算框架，比如Spark、Storm等。

    • NameNode单点故障，难以应用于在线场景；

    • NameNode压力过大，且内存受限，影响系统扩展性。

    • HDFS 存在的问题

    • MapReduce存在的问题

Hadoop1.x和Hadoop2.x有什么区别

HDFS 2.x

  • 解决HDFS 1.0 单点故障和内存受限问题。

  • 解决单点故障

    • 参考 HDFS High Availability Using the Quorum Journal Manager

    • 参考 ZooKeeper Getting Started Guide

    • HDFS HA:通过准备NameNode解决；

    • 如果住NameNode发生故障，则切换到备NameNode。

  • 解决内存受限问题

    • HDFS Federation （联邦）

    • 水平扩展，支持多个NameNode；

    • 每个NameNode分管一部分目录；

    • 所有NameNode共享所有DataNode存储的资源。

  • 2.x仅是架构上发生了改变，使用方式不变

  • 对HDFS使用者透明

  • HDFS 1.x 中的命令和API仍可以使用

Hadoop1.x和Hadoop2.x有什么区别

  • 主备NameNode

  • 解决单点故障

    • 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；

    • 所有DataNode同时向两个NameNode汇报数据块信息。

  • 两种切换选择

    • 手动切换：通过命令实现准备之间的切换，可以用HDFS升级等场合；（X）

    • 自动切换：基于Zookeeper实现。 （√）

  • 基于Zookeeper自动切换方案

    • Zookeeper Failove Controller：监控Namenode健康状态，并向Zookeeper 注册 Namenode

    • NameNode挂掉后，ZKFC为NameNode竞争锁，获得ZKFC锁的NameNode变为active

HDFS 2.x Federation

  • 通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使namenode/namespace可以通过增加机器来进行水平扩张。

  • 能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候也不会降低HDFS的性能。可以通过多个namsespace来隔离不同类型的应用，把不同类型应用的HDFS的存储和管理分派到不同的namenode中。

Hadoop1.x和Hadoop2.x有什么区别

YARN

  • YARN - Yet Another Resource Negotiator;

  • Hadoop 2.0 新引入的资源管理系统，直接从MRv1演化而来；

    • 核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现； -ResourceManager：负责整个集群的资源管理和调度；整个集群只有一个；

    • ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等；一个应用程序对应一个ApplicationMaster；

  • YARN的引入，是的多个计算框架可运行在一个集群中

    • 每个应用程序对应一个ApplicationMaster；

    • 目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等。

MapReduce On YARN

  • 运行在YARN之上的MapReduce称为MRv2；

  • 将MapReduce作业直接运行在YARN上，而不是运行在由JobTracker和TaskTracker构建的MRv1系统中；

  • 在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模块基本功能：

  • YARN：负责资源管理和调度；

  • MRAppMaster：负责一个应用程序/作业的任务切分、任务调度、任务监控和容错；

  • Map/Reduce Task：任务驱动引擎，与MRv1一致；

  • 每个应用程序/作业（MapReduce作业）对应一个MRAppMaster

    • 单个应用程序/作业运行失败，不会影响其他应用程序/作业，由YARN重新启动；

    • 任务失败后，MRAppMaster重新申请资源；

    • 负责应用程序/作业相关的事务，包括将从YARN分配得到的资源二次分配给内部的任务、任务切分、任务健康和容错等；

Hadoop1.x和Hadoop2.x有什么区别

感谢各位的阅读！关于“Hadoop1.x和Hadoop2.x有什么区别”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


文章名称：Hadoop1.x和Hadoop2.x有什么区别
链接分享：http://pwwzsj.com/article/psschj.html

其他资讯