hadoop错误有哪些
这篇文章给大家分享的是有关hadoop错误有哪些的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
创新互联主要从事成都网站制作、网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务武陵源,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792
1、在重新编译hadoop后可能会造成版本不一致的现象。 最近几个星期一直在修改Hadoop的计算能力调度算法,遇到了这样那样的问题。 我修改的版本是hadoop-0.20.2 第一步: 将hadoop的源码加载到eclipse中配置使用ant编译 第二步: 根据需要修改源码 第三步: 使用ant编译修改内容,这里要提醒的就是要保证编译平台的JDK和运行平台的JDK相同 ant编译的方法是:首先到$HadoopHome/src/contrib/capacity-scheduler目录下 直接输入ant就可以编译,编译成功后会提示生产的JAR文件在$HadoopHome/build/contrib/capacity-scheduler 中。 重要的是如果修改了capacity-scheduler外的其他内容(主要在MapReduce中)也需要将修改后的整个Hadoop编译 而且要在编译capacity-scheduler之前进行编译。编译整个hadoop会在build文件夹下看到hadoop-0.20.2-dev-capacity-scheduler.jar 第四步: 将hadoop-0.20.2-dev-capacity-scheduler.jar重命名为hadoop-0.20.2-capacity-scheduler.jar 以及将hadoop-${version}-capacity-scheduler.jar重新名为hadoop-0.20.2-capacity-scheduler.jar 覆盖集群中响应的JAR重新启动集群就可以了以上是成功的步骤,但是在整个过程中总会出现错误,下面具体分析一下我遇到的错误: 我是在windows 下编译的在Ubuntu中搭建的集群,开始的时候两个平台的JDK不一致, 导致了:java.lang.UnsupportedClassVersionError 的错误 所以要保证JDK一致 有时候会遇到org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible build versions: namenode BV = ; datanode BV = 911707 这个错误的原因是因为datanode的版本和NameNode的版本不一致。我将生成的hadoop-0.20.2-dev-capacity-scheduler.jar重命名后覆盖到DataNode的$HadoopHome 中 2、获取年最大温度值 public static class TokenizerMapper extends Mapper
感谢各位的阅读!关于“hadoop错误有哪些”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
当前名称:hadoop错误有哪些
标题网址:http://pwwzsj.com/article/gpcseh.html