平武建站

HDFS是怎么设计架构的

这篇文章给大家分享的是有关HDFS是怎么设计架构的的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

成都创新互联是一家专业提供准格尔企业网站建设,专注与网站设计、网站建设、H5网站设计、小程序制作等业务。10年已为准格尔众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

一、Hadoop 简介

Hadoop版本刚出来的时候是为了解决两个问题：一是海量数据如何存储的问题，一个是海量数据如何计算的问题。Hadoop的核心设计就是HDFS和  Mapreduce.HDFS解决了海量数据如何存储的问题， Mapreduce解决了海量数据如何计算的问题。HDFS的全称：Hadoop Distributed  File System。

二、分布式文件系统

HDFS是怎么设计架构的

图片  HDFS其实就可以理解为一个分布式文件系统，可以看如图1所示有4个服务器是不是都有他自己的文件系统都可以进行存储数据，假设每个服务器的存储空间存储10G的数据。假设数据量很小的时候存储10G的数据还是ok的当数据量大于服务器的存储空间时是不是单个服务器就没法存储了。  我们是不是可以在服务器中部署一个Hadoop这样就能构建出一个集群(超级大电脑)。这样就存储  4*10=40G的数据量，这样我们面向用户时是不是只有一台超级大的电脑相当于一个分布式文件系统。

HDFS是一个主从的架构、主节点只有一个NemeNode。从节点有多个DataNode。

三、HDFS 架构

HDFS是怎么设计架构的

图片 假设我们这里有5台服务器每台服务器都部署上Hadoop，我们随便选择一台服务器部署上NameNode剩下服务器部署上DataNode。

客户端上传文件时假设文件大小为129MHDFS默认切分的大小为128M这时就会产生出2个blkNameNode去通知DataNode上传文件(这里有一定的策略)，我们就假设就将这几个文件分别存储在4个服务器上。为什们要进行分别存储在，假设DataNode服务器有一天突然挂掉了我们是不是还可通过DataNode4或2和3进行读取数据，这样是不是就防止数据丢失。

NameNode

  • 管理元数据信息(文件目录树)：文件与Block块，Block块与DataNode主机关系

  • NameNode为快速响应用户操作，所以把元数据信息加载到内存里

DataNode

  • 存储数据，把上传的数据划分固定大小文件块(Block)在Hadoop2.73之前是64M之后改为了128M

  • 为了保证数据安全，每个文件默认都是三个副本

SecondaryNamenode

周期性的到NameNode节点拉取Edtis和fsimage文件，将这两个文件加入到内存进行  然后将这两个文件加入到内存中进行合并产生新的fsimage发送给NameNode。

四、HDFS写入数据流程

  1. 客户端会带着文件路径向NameNode发送写入请求通过 RPC 与 NameNode 建立通讯， NameNode  检查目标文件，返回是否可以上传;

  2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上;

  3. NameNode 根据副本数量和副本放置策略进行节点分配，返回DataNode节点，如：A，B，C

  4. Client  请求A节点建立pipeline管道，A收到请求会继续调用B，然后B调用C，将整个pipeline管道建立完成后,逐级返回消息到Client;

  5. Client收到A返回的消息之后开始往A上传第一个block块，block块被切分成64K的packet包不断的在pepiline管道里传递，从A到B，B到C进行复制存储

  6. 当一个 block块 传输完成之后，Client 再次请求 NameNode 上传第二个block块的存储节点，不断往复存储

  7. 当所有block块传输完成之后，Client调用FSDataOutputSteam的close方法关闭输出流，最后调用FileSystem的complete方法告知NameNode数据写入成功

五、HDFS读取数据流程

  1. 客户端会先带着读取路径向NameNode发送读取请求，通过 RPC 与 NameNode 建立通讯,NameNode检查目标文件，来确定请求文件  block块的位置信息

  2. NameNode会视情况返回文件的部分或者全部block块列表，对于每个block块，NameNode 都会返回含有该 block副本的 DataNode  地址

  3. 这些返回的 DataNode 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client  近的排靠前;心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后;

  4. Client 选取排序靠前的 DataNode 调用FSDataInputSteam的read方法来读取  block块数据，如果客户端本身就是DataNode,那么将从本地直接获取block块数据

  5. 当读完一批的 block块后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表，继续读取

  6. 所有block块读取完成后，Client调用FSDataInputStream.close()方法，关闭输入流，并将读取来所有的  block块合并成一个完整的最终文件

六、HDFS缺陷

注意：早期版本

  1. 单点问题

  2. 内存受限

感谢各位的阅读！关于“HDFS是怎么设计架构的”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


网站题目：HDFS是怎么设计架构的
链接分享：http://pwwzsj.com/article/ghjehd.html

其他资讯