平武建站

HDFSNamenode是怎么组成的

这篇文章主要介绍了HDFS Namenode是怎么组成的，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

日照ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：028-86922220（备注：SSL证书合作）期待与您的合作！

1.Namenode组成

    fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组等)等。

    edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS客户端执行所有的写操作都会被记录到edit文件中。

2. 1.X的SecondaryNamenode

     HDFS Namenode是怎么组成的

  • secondarynamenode通知namenode生成新的日志文件(edits.new)，以后的日志都写到新的日志文件中。

  • secondarynamenode用http get从元数据节点获得fsimage文件及旧的日志文件(edits)。

  • secondarynamenode将fsimage文件加载到内存中，并执行日志文件(edits)中的操作，然后生成新的fsimage文件。

  • secondarynamenode将新的fsimage文件用http post传回namenode.

  • namenode可以将旧的fsimage文件及旧的日志文件(edits)，换为新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits)，然后更新fstime文件，写入此次checkpoint的时间。

  • 这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息，日志文件也重新开始，不会变的很大了。 

通过上面的步骤能有效减少edits文件的大小从而减少每次启动执行merge的时间。

注：http://p-x1984.iteye.com/blog/860290

3.2.X的HA和merge（NFS和JQM）

NFS，shared NN EDITS LOG

HDFS Namenode是怎么组成的

感谢你能够认真阅读完这篇文章，希望小编分享的“HDFS Namenode是怎么组成的”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!


本文名称：HDFSNamenode是怎么组成的
分享地址：http://pwwzsj.com/article/gidoih.html

其他资讯