平武建站

管理Hadoop的方法

这篇文章主要介绍“管理Hadoop的方法”，在日常操作中，相信很多人在管理Hadoop的方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”管理Hadoop的方法”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

成都创新互联公司是少有的网站制作、成都网站建设、营销型企业网站、微信小程序、手机APP,开发、制作、设计、买友情链接、推广优化一站式服务网络公司,自2013年起,坚持透明化,价格低,无套路经营理念。让网页惊喜每一位访客多年来深受用户好评

HDFS

永久性数据结构

  • 1.namenode的目录结构 管理Hadoop的方法 VERSION 文件详解：

#Thu Dec 15 10:07:46 CST 2016
namespaceID=1277563549
clusterID=CID-a4ff16ba-4427-4f8a-bbaf-4665b3ce714b
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1697576408-127.0.0.1-1481767666542
layoutVersion=-63

layoutVersion - HDFS metadata版本号，通常只有HDFS增加新特性时才会更新这个版本号
namespaceID 文件系统命名空间的唯一标识符，是在namenode 首次格式化时创建的
clusterID 是将HDFS集群作为一个整体赋予的唯一标识符
blockpoolID 是数据块池的唯一标识符，数据块池中包含了由一个namenode 管理的命名空间中的所有文件。
CTime 标记了namenode 存储系统的创建时间。对于刚放格式化的存储系统，这个属性值为0
storageType 该存储目录包含的是namenode 的数据结构

  • 文件系统映像和编辑日志

文件系统客户端执行写操作时（例如创建或移动文件），这些事务首先被记录到编辑日志中。namenode在内存中维护文件系统的元数据；当编辑日志被修改时，相关元数据信息也同步更新。

每个fsimage都是文件系统元数据的一个完整的永久性检查点。

  • 如何解决namenode 重启操作慢的问题

运行辅助namenode， 管理Hadoop的方法 1、secondarynamenode请求namenode停止使用的edits_inprogress文件，新的编辑操作记录到一个新的edits_inprogress文件中，同时namenode会更新所有存储目录中的seen_txid

2、secondarynamenode从namenode中通过HTTP GET获取最近的fsimage和edits文件

3、secondarynamenode将fsimage文件载入内存，逐一执行edits文件中的事务，创建新的合并后的fsimage文件

4、secondarynamenode将新的fsimage文件通过HTTP PUT发送回主namenode，namenode将其保存为临时的.ckpt文件

5、namenode重命名临时的fsimage文件

  • datanode 的目录结构

  • 安全模式

namenode启动时，首先将映像文件载入内存，并执行编辑日志中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage 文件和一个空的编辑日志。在这个过程中,namenode 运行在安全模式，意味着namenode文件系统对于客户端来说是只读的。

  • 日志审计

  • 工具

    • 解决各个datanode 上的块分布不均衡的问题

    • dfsadmin

    • fsck

    • datanode 块扫描器，定期检测本节点上的所有块

    • 均衡器

监控

主守护进程是最需要监控的，包括主namenode，辅助namenode 和资源管理器

  • 日志

  • 度量和JMX（Java管理扩展）

hadoop守护进程收集事件和度量相关的信息，这些信息统称为“度量”

维护

  • 元数据备份

  • 数据备份

    • 划分优先级

    • distcp 是一个理想的备份工具

    • 文件系统检查

    • 文件系统均衡器

  • 委任和解除节点

    随便允许一台机器以datanode身份连接到namenode 是不安全的。

    添加新节点的步骤:
    1. 将新节点的网络地址加到include 文件中
    2. 运行以下指令，将审核过的一系列datanode集合更新至namenode 信息
    hdfs dfsadmin -refreshNodes
    3.运行以下指令，将审核过的一系列节点管理器信息更新至资源管理器
    yarn rmadmin -refreshNodes
    4. 以新节点更新slaves 文件。这样的话，Hadoop控制脚本会将新节点包括在未来操作之中
    5.启动新的datanode 和节点管理器
    6.检查新的datanode和节点管理器是否都出现在网页界面中

    1.将待解除节点的网络地址添加到exclude 文件中，不更新include 文件

    2.执行以下指令，使用一组新的审核过得datanode 来更新namenode 设置

    hdfs dfsadmin -refreshNodes

    3.使用一组新的审核过的节点管理器来更新资源管理器设置

    yarn rmadmin -refreshNodes

    4.转到网页界面，查看待解除datanode的管理状态是否已经变为正在解除，因为此时相关 的datanode正在被解除过程之中。这些datanode会把它们的块复制到其他datanode 中

    5.当所有datanode的状态变为解除完毕时，表明所有快已经复制完毕。关闭已经解除的节点。

    6.从include 文件中移除这些节点，并运行以下命令

    hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes

    • 移除节点

    • 委任

    1. 从slaves 文件中移除节点

  • 升级

是否能回滚

到此，关于“管理Hadoop的方法”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！


分享文章：管理Hadoop的方法
转载来于：http://pwwzsj.com/article/igsgcd.html

其他资讯