谓词下推的生效:
- select * from czw_test2 a
- join (select * from czw_test1 where pt >='20121101' and pt <='20121102') b
- on (a.search_id = b.search_id)
- select count(1)
- from czw_test2 a
- join czw_test1 b
- on a.search_id = b.search_id
- where b.pt >='20121101' and b.pt <='20121102'
如果使用外连接,则谓词下推会失效
- select count(1)
- from czw_test2 a
- left outer join czw_test1 b
- on a.search_id = b.search_id
- where b.pt >='20121101' and b.pt <='20121102'
所以,我们最好还是使用最上面那条语句的方式来做,这是最好的
附加:
(1)如何查看那些分区的文件被加载进来
在mapreduce 的stage-0 有一个track url,点进去那个url页面中的xml文件,找到“mapred.input.dir” 这个选项就能看到加载的文件了
(2)谓词下推,是需要先打开“谓词下推”选项的
set hive.optimize.ppd = true;