创建HDFS的FileSystem对象的小心得-创新互联

FileSystem fs = FiileSystem.get(new URI("hdfs://hadoop1:9000"),new Configuration() );

公司主营业务:做网站、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出临县免费做网站回馈大家。

以这种方式可以创建fs对象,但缺点时,使用了空白的Configuration对象,实际上只授予了fs.default.name这个属性,当访问的HDFS使用了HA(需要多个参数配合,同时指定),或者需要指定其它设置的时候,就会有问题

Configuration conf = new Configuration();

conf.addResource(new Path("conf/core-site.xml"));

conf.addResource(new Path("conf/hdfs-site.xml"));

FileSystem fs = FiileSystem.get(conf);

以这种方式创建出来的FS具有更大灵活性,以及更加方便。因为它直接读取了xml中的设置,如果有必要,也可以调用conf.set方法了设置单个属性。

另外,addResource有几种形式,一种形式是:addResource(String fileName),传入参数是文件名。这种形式强烈依赖于CLASS_PATH,程序只会在CLASS_PATH中寻找文件名,如果在文件名中写入路径是无效的。

addResource的另一种形式是addResource(Path file),这种方式不依赖于CLASS_PATH,可以在new Path的时候指定路径,不管是在程序开发中的调试,还是部署时参数文件相对固定的情况都会更有用

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章标题:创建HDFS的FileSystem对象的小心得-创新互联
转载来源:http://pwwzsj.com/article/digpss.html