常用指令
1.启动hdfs
start-dfs.sh
输入jps可以查看进程,我们可以看到hadoop01,主进程
验证是否开启成功:
打开网页:
格式:http://namenode主节点:50070
http://hadoop01:50070
2.启动yarn
start-yarn.sh /
输入jps可以查看进程,我们可以看到hadoop03是所有资源调度的系统
格式:http://resourcemanager节点:8088
http://192.168.2.103:8088
3.-ls 显示目录信息
hadoop fs -ls / 等同于 hdfs dfs -ls /
对应在hdfs上可以查看目录信息
4. -mkdir 创建目录
在hdfs上创建一个bb文件夹—hadoop fs -mkdir /bb
5. -put 上传文件(等同于指令copyFromLocal)
先在本地创建一个文件 touch hhh.txt
在hhh.txt中写入内容 echo
将hhh.txt上传到hdsf的bb文件夹—hadoop fs -put apps/hhh.txt /bb
在apps目录下创建文件夹 mkdir cc
如果已经在apps目录下,输入命令则上传的文件夹在目录前不需要加apps
6. -get 文件下载到本地(等同于指令copyToLocal)
先进入到想要放置文件的目录,然后输入hadoop fs -get /hdfs目标文件
批量下载:如果想下载所有.txt后缀文件,就写/hdfs主目录/*.txt
hadoop fs -get /hdfs主目录 本地目录
案例:把hdfs上bb目录下的文件都下载到本地
hadoop fs -get /bb /home/hadoopUser/
7. -getmerge 合并下载多个文件
-getmerge打包下载的是同种格式的文件,下载好了可以在本地预览内容,要是打包下载不同格式的文件,就出乱码了。
把hdfs上bb文件夹下的所有txt文件合并下载到本地hadoopUser文件夹下,合并名称为tt。
hadoop fs -getmerge /bb/*.txt /home/hadoopUser/tt
cat t 显示内容:会显示a.txt,b.txt和cc.txt合并的内容。(看不到文件名,只能看到文件内容)
8. -cp 从hdfs的一个路径拷到另一个hdfs路径
将bb目录下的jjj.txt文件拷贝到aa目录下(相当于复制,bb文件夹还有该文件)
hadoop fs -cp /bb/jjj.txt /aa
9. -mv 在hdfs目录中移动文件
将bb目录下的iii.txt文件移动到aa目录下(相当于剪切,bb文件夹没有该文件)
hadoop fs -mv /bb/iii.txt /aa
10. -rm 删除文件或文件夹
删除aa文件夹下的jjj.txt文件
hadoop fs -rm -f /aa/jjj.txt
11. -rmdir 删除空目录
先在aa目录下创建一个cc目录
hadoop fs -mkdir /aa/cc
hadoop fs -rmdir /aa/cc
删除cc空目录,删除不了aa目录,因为aa目录不是空目录
12. -cat 显示文件内容
hadoop fs -cat /aa/iii.txt