Nutch1.0的那些事

      很久没有更新博客了,应该快一年了。现在呢,我把去年研究过的Nutch重新拾掇起来,开始了新的开源搜索引擎研究旅程。更多感慨是,Nutch已经在今年3月份已经发布了1.0版本,之前研究的Nutch还是0.9版本,其最大的变化并不是版本的升级,而是Nutch已经正式成为了Apache.org的子项目,并且可爱的Hadoop发的速度甚至超过了Nutch本身。也正在由于Hadoop存在使得Nutch在众多的开源搜索引擎里面显得更有魅力。而且,国内的牛人们已经将hadoop的中文资料给整理出来了,在http://www.hadoop.org.cn,很有范,学习中。

     包括:

     1)namespace名字空间配额管理指南

     2)hadoop命令

     3)FS Shell

     4)DistCp分布式拷贝

     5)Hadoop Map/Reduce

     6)Hadoop本地库

     7)Hadoop Streaming

     8)Hadoop Archives

     9) Hadoop On Demand

     可以去看看这些文章,对于Nutch的理解会更深刻一些

     Nutch1.0修正了很多的BUG,其中就有我之前文章中提到的urls/nutch.txt只有一行时的报错,看过Nutch1.0源码中已经修复过了。

     另外,集成的Hadoop已经升级成为了0.19.1版本,paoding分词也到了2.0.4版本,lucene升级到了2.0.4版本等等。接下来的文章中,我会将研究Nutch1.0的感想一一分享出来,并回复一些热心的顶贴朋友的提问,争取成为Nutch达人或者Hadoop达人。

     呵呵,继续努力。

猜你喜欢

转载自banditjava.iteye.com/blog/466142