平武建站

Hadoop命令怎么用

这篇文章将为大家详细讲解有关Hadoop命令怎么用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

成都网络公司-成都网站建设公司成都创新互联公司10多年经验成就非凡，专业从事成都网站设计、做网站，成都网页设计，成都网页制作，软文发布平台，一元广告等。10多年来已成功提供全面的成都网站建设方案，打造行业特色的成都网站建设案例，建站热线：18982081108，我们期待您的来电！

用法：

hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]

[COMMAND_OPTIONS]

字段描述
--config confdir覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf
--loglevel loglevel覆盖日志级别。有效值：FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。
GENERIC_OPTIONS支持多个命令的options集合
COMMAND_OPTIONSHadoop子项目的各种命令的options集合

Generic Options

GENERIC_OPTIONS描述
-archivesSpecify comma separated archives to be unarchived on the compute machines. Applies only to job.
-conf指定一个应用程序的配置文件
-D =使用指定属性值
-files指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。
-jt or指定ResourceManager。只应用于任务。
-libjars指定逗号分隔的jar文件包括在classpath中。应用于任务。

1    Hadoop公共命令

所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。

1.1    用户命令

Hadoop集群用户使用的命令。

archive

创建hadoop归档。

checknative

用法：hadoop checknative [-a] [-h]

COMMAND_OPTION描述
-a检测所有类库是否可用
-h打印帮助

该命令检测Hadoop本地代码有效性。默认，该命令只检测libhadoop有效性。

classpath

用法：

用法：hadoop classpath [--glob |--jar |-h |--help]

COMMAND_OPTION描述
--glob执行通配符
--jar指定jar名称
-h |--help打印帮助

打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数，那么打印整个

classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件

中。

credential

用法：

hadoop credential [options]

COMMAND_OPTION描述
create alias [-provider provider-path]提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。
delete alias [-provider provider-path] [-f]使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用，除非指定-provider。指定-f选项系统会询问你是否确认执行命令。
list [-provider provider-path]列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用，除非指定-provider。

命令管理在证书提供商中管理证书、密码和秘钥。

Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定

特殊提供商的类型和位置，用户必须在core-site.xml文件中设置

hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商

路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如：

user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path

/test.jceks

表示当前用户的证书文件通过User Provider获取，本地文件系统位于/tmp/test.jceks是Java

Keystore Provider，HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java

Keystore Provider。 

当利用证书命令，它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置

使用-provider选项。否则，指定多个提供商，第一个非瞬时的提供商被使用。

例子：

hadoop credential list -provider jceks://file/tmp/test.jceks

distcp

递归复制文件和目录。

fs

等价于HDFS中的hdfs dfs命令。

jar

用法：

hadoop jar [mainClass] args... 

运行jar文件。

使用yarn jar加载YARN应用程序。

key

通过KeyProvider管理键。

trace

浏览和修改Hadoop追踪设置。

version

用法：

hadoop version 

打印版本。

classname

用法：

 hadoop CLASSNAME

运行类名CLASSNAME的类。

1.2    管理员命令

Hadoop集群管理员使用的命令。

daemonlog

用法：

hadoop daemonlog -getlevel

hadoop daemonlog -setlevel

COMMAND_OPTION描述
-getlevel打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=
-setlevel设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level=

关于“Hadoop命令怎么用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。


当前标题：Hadoop命令怎么用
链接分享：http://pwwzsj.com/article/iigipe.html

其他资讯