hadoop输入多个文件时获取输入文件名,目的是可以对多个输入文件进行区分
filepath = os.environ["map_input_file"]
filename = os.path.split(filepath)[-1]
hadoop多路输出
hadoop touchz命令:创建一个空文件
- hadoop fs -touchz xx.done[check文件完成小技巧]
hadoop text命令:将源文件输出为文本格式
hadoop grep命令,grep on Hadoop
hadoop jar hadoop-streaming-1.2.1.jar \
-D mapreduce.job.name="grep" \
-D stream.non.zero.exit.is.failure=false \
-mapper "grep $1" \
-numReduceTasks 0 \
-input /INPUT \
-output /OUTPUT
hadoop动态修改任务优先级
- hadoop job -set-priority job_name HIGH
hadoop数据去重的例子
hadoop join的方法【待实现】