hadoop及hdfs常用shell命令
hdfs和hadoop命令在hdfs的使用上差不多,hadoop命令更全面一些,大体分为三类
hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
hadoop dfs:只能适用于HDFS文件系统
hdfs dfs:跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统
一、文件相关操作
1.创建文件夹
hadoop fs -mkdir [-p (是否创建子目录,如果子目录未创建且没选择这个参数会报错)]
2.查看文件的目录结构
hdfs dfs -ls -R /
hadoop fs -ls /dir
3.从本地上传文件至hdfs
hadoop fs -put [-f (覆盖旧文件,不写则保留)] /mydir hdfs//:hdfs/dir
4.从hdfs下载文件至本地
hadoop fs -get hdfs//:hdfs/dir /mydir
## 将hdfs的某个文件与本地的某个文件夹内容合并
hdfs dfs -getmerge hdfs//:hdfs/dir /mydir
5.删除hdfs文件
hadoop fs -rm -r hdfs//:hdfs/dir
6.hdfs文件重命名
hdfs dfs -mv hdfs//:myfile hdfs//:mydir
7.查看文件夹中文件内容
hadoop dfs -text hdfs//:mydir/f1.txt
hadoop dfs -cat hdfs//:mydir/f1.txt
8.查看hadoop的可执行命令
hadoop fs
hadoop fs -help