HDFS的使用 shell接口 格式化操作: hadoop namenode -format
展示文件: hadoop fs -ls / hadoop fs -ls / user
HDFS使用：
它提供了 shell 接口，可以进行命令行操作
hadoop namenode -format #格式化
namenode hadoop fs -ls / #打印 / 目录文件列表
hadoop fs -mkdir input #创建目录
input hadoop fs -put hadoop-env.sh input/ #上传文件
hadoop-env.sh 到 input 目录下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #从 input 目录中下载文件
hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs报告
hadoop fs -ls /apps/hive/warehouse/t_log_2016
mapReduce的原理
MapReduce: 分而治之，一个大任务分成多个小的子任务(map),并行执行后，合并结果(reduce)
TaskTracker角色1. 执行任务2. 汇报任务状态
JobTracker角色1. 作业调度2. 分配任务，监控任务的执行进度3. 监控TaskTracker的状态
map:切分 对每个词统计记1次 reduce:合并 相同的key放在同一个节点
1.编译java文件 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d 编译后地址 编译文件
javac -classpath /usr/lib/ambari-server/hadoop-core-1.2.1.jar: /usr/lib/ambari-server/commons-cli-1.3.1.jar
/root/.m2/repository/org/apache/hadoop/hadoop-common/2.7.1.2.3.4.0-3347
/hadoop-common-2.7.1.2.3.4.0-3347.jar
/root/.m2/repository/org/apache/hadoop/hadoop-mapreduce-client-core/2.7.1.2.3.4.0-3347/hadoop-mapreduce-client-core-2.7.1.2.3.4.0-3347.jar
/root/.m2/repository/commons-cli/commons-cli/1.3.1/commons-cli-1.3.1.jar
2.打包指令 jar -cvf 打包后文件名.jar 某某.class
3.提交输入文件给hadoop hadoop fs -put 文件路径 提交后的路径 例：hadoop fs -put input/* input_wordcount/
4.提交jar给hadoop执行 hadoop jar jar包路径 执行的主函数名(主类名，main方法所在类名) 输入目录名 输出目录名 例：
hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount
/usr/local/hadoop/share/hadoop/mapreduce