1.1提到大数据,必然联系到hadoop ,作为大数据计算框架, 必然有两个基本单元 存储与计算。
其一存储用到了HDFS(分布式文件存储系统)多机存储必然涉及到分布式与并行计算
2.1Hadoop中linux命令的使用
2.1.1启动hadoop,便于后面测试
2.1.2 hadoop fs -help rm
查看一个命令的使用方法
2.1.3 hadoop fs -ls /
显示目录信息
2.1.4 hadoop fs -mkdir /usr/lcoal/newfolder_1
创建一个工作目录
2.1.5 hadoop fs -moveFromLocal
从本地剪贴到hdfs
补充touch 选项 文件路径(用途:创建文件或者修改文件或者目录的时间戳)
2.1.6 hadoop fs -appendToFile ximen.txt
追加一个文件到已经存在的文件末尾
2.1.7 Hadoop fs -cat xxx.txt
显示一个文件的内容
2.1.8 hadoop fs -tail xxx.txt
显示一个文件的末尾
2.1.9 adoop fs -chgrp xxx
hadoop fs -chown xxx
hadoop fs -chmod xxx
同上 修改Linux的组,用户,自己的权限?
2.1.10 hadoop fs -copyFromLocal xxx
从本地拷贝到hdfs路径去
2.1.11 hadoop fs -copyTolcal xxx
从hdfs拷贝到本地去
2.1.12 hadoop fs -cp /xxx /xxxx
从hdfs的一个路径拷贝到另一个路径
2.1.13 hadoop fs -mv xxx xxxx
在hdfs 中 从一个地方移动到另一个地方
2.1.14 hadoop fs -get xxx
从hdfs下载到本地把
2.1.15 hadoop fs -getmerge
合并下载多个文件 比如一个路径下的多个日志文件
2.1.16 hadoop fs -put E:\test.txt /hdfs/file
从xxx上传hdfs。
2.1.17 hadoop fs -rm xxx
删除某个文件或者文件夹
2.1.18 hadoop fs -rmdir xxx
删除空目录
2.1.19 hadoop fs -df -h /
查看文件系统的可用信息
2.1.20 hadoop fs -du -s -h /xxx
统计文件夹大小信息
①deprecate 英 [ˈdeprəkeɪt] 美 [ˈdɛprɪˌket]
vt.不赞成,反对