hadoop 环境 mr任务指定python版本

files="/home/maintable/wenda/pyvers/pys"

/usr/bin/hadoop/software/hadoop/bin/hadoop streaming \
-D mapred.job.name="mr_test_log" \
-D mapred.job.priority="VERY_HIGH" \
-D mapred.reduce.tasks=0 \
-jobconf stream.non.zero.exit.is.failure=false \
-file /home/maintable/tanzhenghai/sysenv/map.py -mapper "python2.6 map.py" \
-input $files \
-output /home/maintable/wenda/pyvers/result


echo "End..."

一开始 -mapper map.py 直接这样写,用的环境中2.4.3的。。。

猜你喜欢

转载自www.cnblogs.com/kuipertan/p/10361028.html