版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/IPOmonkey/article/details/82780232
1.爬虫的简介和价值
- 爬虫: 一段自动抓取互联网信息的程序
- 价值:互联网数据,为我所用
- 可以应用到:新闻聚合阅读器、最爆笑的故事APP、最漂亮美女图片网、图书价格对比网、Python技术文章大全等等。
2.URL管理器
URL管理器:管理待抓取URL集合和已抓取URL集合
实现方式
- 内存
- Python内存
- 待爬取URL集合:set()
- 已爬取URL集合:set()
- 关系数据库
- MySQL
- urls(url, is_crawled)
- 缓存数据库
- redis
- 待爬取URL集合:set
- 已爬取URL集合:set
3.网页下载器
网页下载器:将互联网上URL对应的网页下载到本地的工具
实现方法:Python中 urllib2 模块(python2)或 urllib.request模块(python3)
4.网页解析器
网页解析器:从网页中提取有价值数据的工具
实现方式
- 正则表达式 ----模糊匹配
- html.parser ----结构化解析
- BeautifulSoup[可以使用2和4] ----结构化解析(http://www.crummy.com/software/BeautifulSoup)
- lxml ----结构化解析
5.应用
入口页:https://baike.baidu.com/item/Python/407313
URL 格式 -词条页面URL:/item/xxx
数据格式:
1.标题:
<dd class="lemmaWgt-lemmaTitle-title"><h1>...</h1></dd>
2.简介:
<div class="lemma-summary" label-module="lemmaSummary">xxxxx</div>