常用Hadoop命令

将自己工作中常用的Hadoop命令整理如下：

1. 查看hadoop文件

hadoop fs -ls /

2. 新建文件夹

hadoop dfs -mkdir /input

3. 上传本地文件

终端输入： vim test1.txt

键入内容保存:wq

终端输入：

hadoop fs -put ./test 1.txt /input(上传到Hadoop的目标路径）

扫描二维码关注公众号，回复： 6647017 查看本文章

hadoop fs –copyFromLocal <localsrc> … <dst>：等价于-put。

hadoop fs –moveFromLocal <localsrc> … <dst>：等同于-put，只不过源文件在拷贝后被删除。

4. 查看文件内容

hadoop fs –cat <src>

如：

hadoop fs -ls /input

hadoop fs -cat /input/test1.txt

5. 运行自带的hadoop-mapreduce-example-2.7.4.jar

6. 运行 hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output

7.删除生成的output 文件夹

删除：hadoop fs -rm -r /output

8. 修改文件夹权限

hadoop fs -chmod 777 /output

9.将指定格式的文件 move到指定的目标位置。当src为多个文件时，dst必须是个目录。

hadoop fs –mv <src> <dst>

10.拷贝文件到目标位置，当src为多个文件时，dst必须是个目录

hadoop fs –cp <src> <dst>

11.删除匹配pattern的指定文件，等价于unix下的rm <src>

hadoop fs –rm [-skipTrash] <src>：

12.从DFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录

hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>

hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>：等价于-get

13.从DFS拷贝多个文件、合并排序为一个文件到本地文件系统

hadoop fs –getmerge <src> <localdst>

14.修改文件的权限

-R标记递归修改。MODE为a+r,g-w,+rwx等，OCTALMODE为755这样

hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…

15.计数文件个数及所占空间的详情

hadoop fs –count[-q] <path>

参考博客：