平武建站

大数据资源如何管理

Hadoop集群资源管理器是什么？它是如何为上层应用提供资源管理和调度的呢？我们一起来看Apache Hadoop YARN的引入，为集群在利用率、资源统一管理和数据共享等方面带来的巨大好处。

创新互联建站专注于梅江网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供梅江营销型网站建设，梅江网站制作、梅江网页设计、梅江网站官网定制、重庆小程序开发服务，打造梅江网络公司原创品牌,更为您提供梅江网站排名全网营销落地服务。

从开发人员来讲提交作业（应用）到YARN集群，通过YARN的UI来监控和管理作业。Hadoop给开发员提供了三种主要YARN工具：（1）Hue Job Browser；（2）YARN Web UI；（3）YARN命令。YARN管理员可以使用Cloudera Manager，包含在Cloudera Express和ClouderaEnterprise中，对开发人员也有一些帮助。下面我们一起来看具体组件的作用：

（1）Hue Job Browser：可以监控作业状态、查看日志、杀掉作业大数据资源如何管理

（2）YARN Web UI：Resource Manager UI是主要的入口点，运行在RM主机的8088端口，相比Hue，提供了更多明细视图（可以查看每一个应用下面的任务，任务里面有多少attempt，以及一些日志情况），但是它不提供任何控制或者配置。在这里我们看一下YARN Web UI的类别：

1)Resource Manager UI：Nodes

大数据资源如何管理

2)Resource Manager UI：Applications

大数据资源如何管理

3)ResourceManager UI：Application Detail大数据资源如何管理

（3）YARN命令行

1）通过命令配置和查看关于YARN集群的信息

a)yarn

2）大多数YARN命令行工具是为管理员而不是开发员准备的

3）一些对开发员有用的命令

b)yarn application,使用-list来查看运行的应用,使用-kill来杀掉运行的应用.

c)yarn logs–applicationId,查看特定应用的日志

（4）Cloudera Manager

Cloudera Manager提供了强大地从单个节点监控和配置集群的能力大数据资源如何管理

YARN作为Hadoop的资源管理器，给集群的资源管理与共享带来了便捷，但是我们必须明确YARN在实际应用中的特点，才能够更好的掌握和应用。大数据由于当下发展的需要，给每一位想要从事或者已经从事大数据的人员提供了机遇和挑战，我们不仅要多方位思考总结，还要借鉴和学习别人的经验，不断地改善自己的知识架构，才会取得更大的进步。平时可以关注“大数据cn”这样的微信资讯平台，上面分享的大数据相关知识对于我们从业者来说，很新颖独特，对开阔我们的视野，拓展我们的知识面，激发我们的思维都有着很好地帮助作用！

 

 


名称栏目：大数据资源如何管理
文章路径：http://pwwzsj.com/article/gpiped.html

其他资讯