hadoop问题有哪些

这篇文章主要为大家展示了“hadoop问题有哪些”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop问题有哪些”这篇文章吧。

10年积累的成都网站建设、成都网站设计经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先做网站后付款的网站建设流程,更有陈巴尔虎免费网站建设让你可以放心的选择与我们合作。

1、hadoop重启不能找到namenode,可能原因是没有指定临时存储目录,默认会存储到root根目录下的tmp文件中,重启后会消失,所以在core-site.xml文件中加入临时文件配置即可!

2、hadoop格式化会询问yes or no,yes大写!

3、配置SSH时,每台机器都需要配置自己的为密码,master与slaves互相持有其公钥!

4、hadoop命令操作Java,

bin/hadoop fs -ls,

将文件放到hadoop文件下,bin/hadoop fs -put ../input  ./in

删除文件 bin/hadoop fs -rmr file,并没有物理删除,只是放在回收站中,里面可以设置时间阈值,超过阈值删除。

恢复与清空 bin/hadoop fs -move file

快照:

5、修改hdfs源码实现,namenode多点,这样一个namenode宕机不至于造成损失!《HDFS高可用》

6、HDFS思想是硬件设备坏掉是常态,解决这个的方法就是冗余!

7、datanode一次写入不能修改!

8、心跳机制:datanode向namenode定期发送信号,告诉namenode我还活着!

9、设置hadoop-classpath! hadoop环境变量!

10、分片问题,分片只能非常完全接近block。

性能调优

11、combiner 预处理过程,减少带宽,传输速度快!可以优化在此。

12、处理小文件,将小文件合成大文件。

13、减少map阶段的输出。

14、maperd-site.xml设置JVM重用。

15、如果maperd任务还未完成就出现故障,jobtracker会要求其他节点重新执行该maperd任务。

16、如果reduce任务还未完成就出现故障,jobtracker会要求其他节点继续执行reduce任务。

以上是“hadoop问题有哪些”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


分享名称:hadoop问题有哪些
网址分享:http://pwwzsj.com/article/pdihoo.html