step1 使用socket编程技术，利用http协议，抽取网页中的url，实现简单的爬虫。
step2 使用bloomfilter，对爬到的url进行去重，避免重复爬取相同页面。
step3 使用libevent的事件驱动设计模式，基于kueue的io多路复用，加快爬虫速度。
笔者使用Mac OS，采用kueue（os free based）实现io多路复用。LInux下可使用epoll 。
并行网络爬虫（C++实现）
猜你喜欢
转载自www.cnblogs.com/coding-gaga/p/10039493.html
今日推荐
周排行