mapreduce遇到的问题怎么解决

这篇文章主要讲解了“map reduce遇到的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“map reduce遇到的问题怎么解决”吧!

永平网站制作公司哪家好,找成都创新互联公司!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。成都创新互联公司于2013年开始到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司

问题:mkdir: Permission denied: user=root, access=WRITE

我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下:

System.setProperty("HADOOP_USER_NAME", "hdfs");

第一步:

解决方法:

服务器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false


dfs.permissions
false

注意,实验平台可以这么设置,但是工作中,不能这样,这样不安全。

如果还是不行,就是dfs没有权限

第二步:

产生问题原因:

      环境hadoop2,cdh6创建

      使用hadoop fs -mkdir /usr/xxx创建文件路径时,出现权限问题

===========================================================

1.hadoop fs -ls /user

      检查这个路径下面的用户权限学习

       drwxrwxrwt   - yarn hadoop          0 2014-09-03 11:58 /user/history

       drwxr-xr-x   - hdfs hadoop          0 2014-09-03 12:00 /user/spark

    其中:yarn--创建人,hadoop ---组,而root用户属于访客类型的

2.使用hdfs这个用户登录

   sudo -uhdfs hadoop fs -mkdir /usr/

3.通过hdfs用户更改所在用户的权限

  sudo -uhdfs hadoop fs -chown 用户:用户组 /usr

比如过我们是root用户,可以用命令 groups root ,查看root用户的组,得到组也是root现在更改用户的权限

sudo -uhdfs hadoop fs -chown root:root /usr

再用命令 hadoop  fs -ls /  可以看到 目录 /usr,用户名是root,用户组是root

就搞定了。

感谢各位的阅读,以上就是“map reduce遇到的问题怎么解决”的内容了,经过本文的学习后,相信大家对map reduce遇到的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


标题名称:mapreduce遇到的问题怎么解决
网页路径:http://pwwzsj.com/article/ggjjso.html