HDFS文件系统的介绍
本篇内容主要讲解“HDFS文件系统的介绍”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“HDFS文件系统的介绍”吧!
从事内江服务器托管,服务器租用,云主机,网页空间,国际域名空间,CDN,网络代维等服务。
上一节我们简单介绍了hadoop主要由三大块组成:分布式文件系统(HDFS)、分布式计算框架(MapReduce)、分布式调度器(yarn)组成,从这节课开始,我们逐一的详细介绍这些技术。本节课,就详细了解一下分布式文件系统--HDFS。
一、课前知识:
文件系统: 文件系统(file system)是命名文件及放置文件的逻辑存储和恢复的系统,我的理解就是管理文件命名及存放的一种软件系统。
常见的格式有:windows下:FAT\FAT32\NTFS Linux下:Ext2 Ext3 Mac OS 下:HFS
分布式系统: 分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络 与节点(可简单的理解为一台计算机)相连;
常见的有: GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文 件系统,而是应用级的分布式文件存储服务。
文件系统是一个很庞大的概念,这里只是很简单的一个介绍。
二、HDFS文件系统
HDFS是大数据系统的基础,它提供了基本的存储功能, HDFS的思想很简单,就是namenode负责数据存储位置的记录,datanode负责数据的存储。使用者client 会先访问namenode询问数据存在哪,然后去datanode存储;写流程也基本类似,会先在namenode上询问写到哪,然后把数据存储到对应的datanode上。所以 namenode作为整个系统的灵魂,一旦它挂掉了,整个系统也就无法使用了。
1、 这里有几个概念:
namenode:主节点,主要负责HDFS集群的管理以及元数据信息管理
datanode:从节点,主要负责存储用户数据
secondaryNameNode:辅助namenode管理元数据信息,以及元数据信息的冷备份
注:怎么一理解元数据,最简单的一个比喻,我们在windows系统中在一个文件上鼠标右键选择属性所显示的内容就是元数据,简单说就是描述文件名称、
位置、大小等信息的数据。HDFS系统正是通过namenode来保存文件在哪里,有多大,权限等等属性的。
2、HDFS的存储空间
通过上图,我们可以看出,HDFS的总存储容量集群中所有的磁盘相加的和,比如上图中,HDFS对上层应用系统提供了共60T的空间,上层应用不需要知道
自己保存的文件具体在那一台服务器上。
三、HDFS存储的原理
在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中。我们将这个划分的块称之为:block,block块的大小可以通过hdfs-site.xml当中的配置文件进行指定。在hadoop1当中,文件的block块默认是64M,hadoop2、3默认是128M,。
通过上图,我们可以看出:几个概念:
1、blocak划分:一个300M的文件,按128M的划分,被分成了三块,分别是blk1、blk2、blk3,
2、副本:我们可以看出第一个block块,都有三个副本,分别存在同一集群的不同的机器上,(注意:副本数可以根据配置文件设置)
注: 如果有一个文件大小为1KB,也是要占用一个block块,但是实际占用磁盘空间还是1KB大小。所以,HDFS不适合存储小文件的场景,比如我们
应用系统中的一些附件上传,通常文件都不会太大(小于64M),所以,就不适用使用HDFS来存储。
提一个问题:为什么我们不能通过修改配置文件,来让HDFS适用于存储小文件。(提示:和namenode有关,namenode的数据量会非常大)。
四、HDFS架构
先盗一张图来看看,网上基本上都用这张图来说事:
HDFS集群包括,NameNode和DataNode以及Secondary Namenode。
NameNode负责管理整个文件系统的元数据,包括hdfs目录树、每个文件有哪些块、每个块存储在哪些datanode
DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。
Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息
到此,相信大家对“HDFS文件系统的介绍”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
新闻标题:HDFS文件系统的介绍
文章分享:http://pwwzsj.com/article/ihoeoi.html