HDFS读写的示例分析-创新互联

这篇文章主要介绍了HDFS读写的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

创新互联是专业的福建网站建设公司,福建接单;提供网站设计、网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行福建网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

一、HDFS读写之前提

  NameNode(元数据节点):存放元数据(名称空间、副本数、权限、块列表、集群配置信息),不包含数据节点。元数据节点将文件系统元数据存储在内存中。

  1.DataNode(数据节点):真正存储数据的地方,以数据块为单位。默认数据块大小为128M。数据节点周期性的将所有存储块信息发送给元数据节点。客户端通过和NameNode节点沟通后,再向数据节点对数据读出或写入。

  2.SecondaryNameNode(从元数据节点):并不是元数据节点的备用节点,而是配合元数据节点工作,与元数据节点有不同的工作。SecondaryNameNode周期性地将元数据节点的命名空间镜像文件和修改日志合并,帮助元数据节点将内存中元数据信息存储到磁盘上。

  3.Client(客户端):客户端就是需要获取HDFS系统中文件的应用程序和接口,引发HDFS的读/写等操作。

  值得注意的是:

  1.namenode实际客户端只上传一个datanode,其余两个是namenode完成的。让datenote自己复制的。然后复制完成以后逐级返回结果给namenode。如果2,3datanode复制失败,再有namenode分配新的datanode地址。对于客户端来说默认上传一个datanode就可以了,其余的由datanode自己复制。

  2.datanode切片是由客户端完成的。datanode第二三个副本的上传和第一个上传是异步的。

二、HDFS中的写流程:

  1.根namenode通信请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。

  2.namenode返回是否可以上传。

  3.client请求第一个 block该传输到哪些datanode服务器上。

  4.namenode返回3个datanode服务器ABC。

  5.client请求3台dn中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将真个pipeline建立完成,逐级返回客户端。

  6.client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,A收到一个packet就会传给B,B传给C;A每传一个packet会放入一个应答队列等待应答。

  7.当一个block传输完成之后,client再次请求namenode上传第二个block的服务器。

三、hdfs中的读流程:

  1.跟namenode通信查询元数据,找到文件块所在的datanode服务器。

  2.挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流。

  3.datanode开始发送数据。(从磁盘里面读取数据放入流,以packet为单位来做校验)

  4.客户端以packet为单位接收,先在本地缓存,然后写入目标文件。

感谢你能够认真阅读完这篇文章,希望小编分享的“HDFS读写的示例分析”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联-成都网站建设公司行业资讯频道,更多相关知识等着你来学习!


分享标题:HDFS读写的示例分析-创新互联
文章URL:http://pwwzsj.com/article/ccdojj.html