通过把一部分log已经迁移到Hadoop集群上
并由Hive来执行相关的查询
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即:每一个tasktracker同时运行的map任务数为2
照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec
经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目减1比较合适
此时的运行效率最高,大概花费3mins, 25sec
我们现在的机器都是8核的,所以最终配置如下:
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>8</value>
<description>The maximum number of map tasks that will be run simultaneously by a task tracker.
</description>
</property>
对于mapred.map.tasks(每个job的map任务数)值,hadoop默认值也为2
可以在执行hive前,通过set mapred.map.tasks=24来设定
但由于使用hive,会操作多个input文件,所以hive默认会把map的任务数设置成输入的文件数目
即使你通过set设置了数目,也不起作用…
对于mapred.reduce.tasks(每个job的reduce任务数)值,hadoop默认值也为2,最好设为配置参数,你想实现的分块数目。
转帖来自:http://www.tech126.com/category/hadoop-2/
如果mapred.tasktracker.map.tasks.maximum 的设置超过 cpu cores数目。
则在执行过程中会出现异常:
10/12/30 10:43:51 INFO mapred.JobClient: Task Id : attempt_201012300937_0001_m_000032_1, Status : FAILED
java.io.IOException: Could not obtain block: blk_-462377779899911007_1022 file=/user/asr/in-again/blog.20101213.5gram