在Xshell 5中运行hadoop程序常用指令

前提条件:单词计数程序编写完成,并打包成了jar包
步骤:
1、将打包好的jar包拖拽到服务器某个文件夹(要处理的文件也同样放到服务器中,图略),如下
在这里插入图片描述
2、将要处理的数据文件上传到HDFS
指令:hadoop fs -put 本地文件所在目录 HDFS中的目录
在这里插入图片描述
注意事项:如果对绝对路径相对路径不是很熟悉的,就回到用户主目录指令 cd ~进行操作
3、运行程序
指令:hadoop jar xxx.jar xxx.WordCount 要处理的数据所在目录 输出目录
在这里插入图片描述
注意事项:要在jar包所在文件夹下执行该指令
xxx.jar指你要运行的jar包
xxx.WordCount,前面xxx指你程序的package名,后面指你的main程序所在的类名
输出目录不能自己创建
5、查看HDFS上的结果目录,看到结果在wordcount里面
指令:hadoop fs -ls 目录在这里插入图片描述
6、将结果从HDFS下载到服务器
指令:hadoops fs -copyToLocal 结果所在的文件路径/part-r-00000 要放在服务器中的目录/设置文件名
在这里插入图片描述
7、创建目录
指令:hadoop fs mkdir 目录名
8、删除空目录
指令:hadoop fs -rmdir 目录路径
9、删除非空目录
指令:hadoop fs -rm -r -f 目录路径

总体注意事项:服务器中的操作和linux基本没多大区别,hadoop中运行某个程序常用的即以上几条。

猜你喜欢

转载自blog.csdn.net/weixin_40626699/article/details/83752298