Hadoop体系结构是怎么样的
小编给大家分享一下Hadoop体系结构是怎么样的,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
创新互联建站服务项目包括万山网站建设、万山网站制作、万山网页制作以及万山网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,万山网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到万山省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
一. Namenode
1. 介绍
1) 是整个文件系统的管理节点
2) 它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表
3) 接收用户的操作请求
4) 文件/目录的元信息是指文件的名称、大小、修改时间等等信息
2. hdfs文件查看
1) 查看路径:hdfs-site.xml的dfs.replication属性hadoop.tmp.dir
hadoop.tmp.dir /usr/local/hadoop/tmp
查看文件
[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current [root@chaoren current]# ls edits fsimage fstime VERSION
2) fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息
3) edits:操作日志文件
4) fstime:保存最近一次checkpoint的时间
二. Datanode
1. 提供真实文件数据的存储服务。
2. 文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是64MB,以一个256MB文件,共有256/64=4个Block.
3. 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
4. Replication。多复本。默认是三个。查看hdfs-site.xml的dfs.replication属性
三. SecondaryNameNode
1. HA的一个解决方案。但不支持热备。配置即可。
2. 执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,同时重置NameNode的edits.
3. 默认在安装在NameNode节点上,但这样...不安全
4. 其他
以上是“Hadoop体系结构是怎么样的”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
分享题目:Hadoop体系结构是怎么样的
浏览地址:http://pwwzsj.com/article/pegpjc.html