如何使用Hadoop存档工具-创新互联
这篇文章给大家分享的是有关如何使用Hadoop存档工具的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
成都创新互联专注于扎囊企业网站建设,响应式网站设计,电子商务商城网站建设。扎囊网站建设公司,为扎囊等地区提供建站服务。全流程按需网站策划,专业设计,全程项目跟踪,成都创新互联专业和态度为您提供的服务每个文件按块方式存储, 每个块的元数据存储在namenode的内存中
Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问
Hadoop存档文件可以用作MapReduce的输入
使用Hadoop存档工具
Hadoop存档是通过archive工具根据一组文件创建而来的,该存档工具运行一个MapReduce作业来并行处理所有的输入文件
使用archive
hadoop archive -archiveName files.har /my/files /my
第一个选项是存档文件的名称,这里是第一个参数 file.har
第二个参数是需要存档的文件
第三个参数是HAR文件的输出目录
列出HAR文件中的文件
hadoop fs -ls /my/files.har
递归列出HAR文件中的文件
hadoop fs -lsr /my/files.har
其他文件系统中引用HAR文件,则需要使用不同的URI路径格式,示例如下
hadoop fs -lsr 不足 新建一个存档文件会创建原始文件的一个副本 一旦创建,不能修改 InputFormat不知道文件已经存档
感谢各位的阅读!关于“如何使用Hadoop存档工具”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
当前标题:如何使用Hadoop存档工具-创新互联
URL网址:http://pwwzsj.com/article/jched.html