import requests
requests . get( ' https:/ /www. baidu. com')
爬虫程序
1.给定种子url,程序负责获取url的页面数据
2.程序对页面数据解析解析，匹配需要的url连接，放入到队列
3.重复1和2, 直到条件完成
效率 线程 协程 分布式架构
优先级排序
去重 先hash 再处理
数据存储
网络爬虫-总结
猜你喜欢
转载自www.cnblogs.com/liubosong/p/10339781.html
今日推荐
周排行