盗亦有道
网络爬虫有些是对网络有危害的,所以人们规定了一些东西,来进行对其的限制
网络爬虫,爬取网络资源需要遵循一定的协议
网站通过两种方式来限制网络爬虫
- 来源审查:大致就是,他只让认识的浏览器或者爬虫进行访问
- Robots协议:就是提前告知哪些东西你可以爬取,哪些东西不行,然后我们可以通过在网址后面加上/robots.txt即可调出,该网址的Robots协议,例如百度 http://www.baidu.com/robots.txt
但是遵不遵循该协议还得看爬虫作者了
大致所有的网站都会有Robots协议来保证爬虫对其的危害
如果某些网站不提供Robots协议,那么就是默认爬虫可以随便进行内容提取
(如果你的爬虫爬取效率像人类一样,内容少,时间短,这是可以不遵循协议,因为爬虫的操作像人类一样,没有神魔危害)
那么问题来了,写爬虫怎莫才能遵循Robots协议呢
- 自动识别
- 人工看