1.环境搭建
2.爬去真实数据
a.正则表达式
b.深度优先和广度优先遍历算法
c.url的去重的常见策略
3.scrapy 突破反爬虫技术
图片验证码
IP 访问频率限制
user-agent随机切换
4.scrapy 进阶
spider item item loader pipeline feed export CrawlSpider
scrapy 的原理
基于scrapy的中间件开发
动态网站的抓取处理
将selenium和phantomjs 集成到scrapy中
scrapy log 配置
email 发送
scrapy 信号
5.scrapy redis 分布式爬虫
理解scrapy-redis 分布式爬虫
集成bloomfilter 到scrapy-redis 中
6.elasticsearch django 实现搜索引擎
elasticsearch 开源的分布式搜索引擎