5. 部署管理Hadoop集群
5.1 部署Hadoop集群
登陆界面http://{IP Address}:8080/,用户名密码为admin:admin。接下来就可以启动安装向导,创建集群,安装服务。
部署成功后,便可成功进入界面。在主界面中,可以查看集群状态监控信息
在HadoopMaster的终端执行jps命令,在打印结果中会看到master上运行的进程,这些进程表示主节点进程启动成功。
在HadoopSlave 的终端执行jps命令,也会看到相应的进程:
5.2 HDFS运维管理
5.2.1 HDFS命令手册
1. 概述
切换到hdfs用户,可以通过“hadoop fs -”命令来查看HDFS文件系统的帮助命令,通过提示的命令来对文件系统进行管理。
命令如下:
$ hadoop fs -
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
命令选项 | 描述 |
---|---|
–config confdir | 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf |
GENERIC_OPTIONS | 多个命令都支持的通用选项 |
COMMAND 命令选项S | 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。 |
2. 权限管理
在Hadoop集群中,只有hdfs用户才有对HDFS文件系统的管理权限,当其它用户对文件系统进行操作,需要给其赋予相应的权限,这里为了方便操作,将所有用户的读写执行权限全部放开,命令如下:
3. 常规选项
下面的选项被 dfsadmin, fs, fsck和 job支持。 应用程序要实现 Tool来支持常规选项。
GENERIC_OPTION | 描述 |
---|---|
-conf | 指定应用程序的配置文件。 |
-D <property=value> | 为指定property指定值value。 |
-fs <local|namenode:port> | 指定namenode。 |
-jt <local|jobtracker:port> | 指定job tracker。只适用于job。 |
-files <逗号分隔的文件列表> | 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 |
-libjars <逗号分隔的jar列表> | 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 |
-archives <逗号分隔的archive列表> | 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 |
4.用户命令
hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考 Hadoop Archives.
用法:hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
命令选项 | 描述 |
---|---|
-archiveName NAME | 要创建的档案的名字。 |
-p | 父路径,格式与正则表达式一致。 |
src | 父路径下面需要创建档案的文件名(可多个) |
dest | 保存档案文件的目标目录。 |
distcp
递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法:hadoop distcp
*命令选项* | *描述* |
---|---|
srcurl | 源Url |
desturl | 目的Url |
fs
用法:hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
fsck
运行HDFS文件系统检查工具。参考Fsck了解更多。
用法:hadoop fsck [GENERIC_OPTIONS]
*命令选项* | *描述* |
---|---|
|
检查的起始目录。 |
-move | 移动受损文件到/lost+found |
-delete | 删除受损文件。 |
-openforwrite | 打印出写打开的文件。 |
-files | 打印出正被检查的文件。 |
-blocks | 打印出块信息报告。 |
-locations | 打印出每个块的位置信息。 |
-racks | 打印出data-node的网络拓扑结构。 |
jar
运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中,使用这个命令执行。
用法:hadoop jar [mainClass] args…
job
用于和Map Reduce作业交互和命令。
用法:hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
*命令选项* | *描述* |
---|---|
-submit | 提交作业 |
-status | 打印map和reduce完成百分比和所有计数器。 |
-counter | 打印计数器的值。 |
-kill | 杀死指定作业。 |
-events <from-event-#> <#-of-events> | 打印给定范围内jobtracker接收到的事件细节。 |
-history [all] | -history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。 |
-list [all] | -list all显示所有作业。-list只显示将要完成的作业。 |
-kill-task | 杀死任务。被杀死的任务不会不利于失败尝试。 |
-fail-task | 使任务失败。被失败的任务会对失败尝试不利。 |
pipes
运行pipes作业。
用法:hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
*命令选项* | *描述* |
---|---|
-conf
|
作业的配置 |
-jobconf <key=value>, <key=value>, … | 增加/覆盖作业的配置项 |
-input
|
输入目录 |
-output
|
输出目录 |
-jar | Jar文件名 |
-inputformat | InputFormat类 |
-map | Java Map类 |
-partitioner | Java Partitioner |
-reduce | Java Reduce类 |
-writer | Java RecordWriter |
-program | 可执行程序的URI |
-reduces | reduce个数 |
version
打印版本信息。
用法:hadoop version
CLASSNAME
hadoop脚本可用于调调用任何类。
用法:hadoop CLASSNAME
运行名字为CLASSNAME的类。