大数据学习之路13-求网站topN页面改进,如何如何向map和reduce传参数

在之前的例子中我们可以求出每个域名访问前三的页面那么如果我们想要访问前五的话怎么办?我们能不能像传递文件输入路径那样将参数传递给map或者reduce程序?我们也有办法,我们可以通过Configuration,Configuration中封装了很多参数,所有的worker都可以拿到,所以调用map和reduce的worker也可以拿到。那map和reduce又如何从worker中拿到conf中的参数呢?在context中!它调用map和reduce的时候会传递一个context,那么就会把参数放在context中。所以我们只要想办法将参数放在conf中那么context就可以拿到参数的值。

继续改进:

猜你喜欢

转载自blog.csdn.net/qq_37050372/article/details/81673583