Hadoop环境如何配置及启动
这篇文章主要介绍Hadoop环境如何配置及启动,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
目前累计服务客户上千家,积累了丰富的产品开发及服务经验。以网站设计水平和技术实力,树立企业形象,为客户提供网站建设、成都网站设计、网站策划、网页设计、网络营销、VI设计、网站改版、漏洞修补等服务。创新互联始终以务实、诚信为根本,不断创新和提高建站品质,通过对领先技术的掌握、对创意设计的研究、对客户形象的视觉传递、对应用系统的结合,为客户提供更好的一站式互联网解决方案,携手广大客户,共同发展进步。
core-site.xml
fs.defaultFS hdfs://slave2.hadoop:8020 true hadoop.tmp.dir file:/home/hadoop/hadoop-root/tmp fs.checkpoint.period 300 The number of seconds between two periodic checkpoints. fs.checkpoint.size 67108864 The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired. fs.checkpoint.dir ${hadoop.tmp.dir}/dfs/namesecondary Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy.
hdfs-site.xml
dfs.namenode.name.dir /home/hadoop/hadoop-root/dfs/name true dfs.datanode.data.dir /home/hadoop/hadoop-root/dfs/data true dfs.replication 3 dfs.permissions false dfs.namenode.secondary.http-address slave1:50090
mapred-site.xml
mapreduce.framework.name yarn mapred.system.dir /home/hadoop/hadoop-root/mapred/system true mapred.local.dir /home/hadoop/hadoop-root/mapred/local true mapreduce.tasktracker.map.tasks.maximum 2 mapreduce.tasktracker.reduce.tasks.maximum 1 mapreduce.job.maps 2 mapreduce.job.reduces 1 mapreduce.tasktracker.http.threads 50 io.sort.factor 20 mapred.child.java.opts -Xmx400m mapreduce.task.io.sort.mb 200 mapreduce.map.sort.spill.percent 0.8 mapreduce.map.output.compress true mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.DefaultCodec mapreduce.reduce.shuffle.parallelcopies 10
一、恢复hadoop
1、停止所有服务
2、删除/home/hadoop/hadoop-root/dfs下的data和name,并且重新建立
3、删除/home/hadoop/hadoop-root/tmp下的文件
4、在namenode节点执行 hadoop namenode -format
5、启动hadoop服务
-----自此hadoop恢复----
6、停止hbase服务,停不掉就杀掉
7、(多个节点)进入/tmp/hbase-root/zookeeper 删除所有文件
8、启动hbase服务
以上是“Hadoop环境如何配置及启动”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
文章名称:Hadoop环境如何配置及启动
转载注明:http://pwwzsj.com/article/gesgsd.html