很久没有更新博客了,应该快一年了。现在呢,我把去年研究过的Nutch重新拾掇起来,开始了新的开源搜索引擎研究旅程。更多感慨是,Nutch已经在今年3月份已经发布了1.0版本,之前研究的Nutch还是0.9版本,其最大的变化并不是版本的升级,而是Nutch已经正式成为了Apache.org的子项目,并且可爱的Hadoop发的速度甚至超过了Nutch本身。也正在由于Hadoop存在使得Nutch在众多的开源搜索引擎里面显得更有魅力。而且,国内的牛人们已经将hadoop的中文资料给整理出来了,在http://www.hadoop.org.cn,很有范,学习中。
包括:
1)namespace名字空间配额管理指南
2)hadoop命令
3)FS Shell
4)DistCp分布式拷贝
5)Hadoop Map/Reduce
6)Hadoop本地库
7)Hadoop Streaming
8)Hadoop Archives
9) Hadoop On Demand
可以去看看这些文章,对于Nutch的理解会更深刻一些
Nutch1.0修正了很多的BUG,其中就有我之前文章中提到的urls/nutch.txt只有一行时的报错,看过Nutch1.0源码中已经修复过了。
另外,集成的Hadoop已经升级成为了0.19.1版本,paoding分词也到了2.0.4版本,lucene升级到了2.0.4版本等等。接下来的文章中,我会将研究Nutch1.0的感想一一分享出来,并回复一些热心的顶贴朋友的提问,争取成为Nutch达人或者Hadoop达人。
呵呵,继续努力。