一 Robots协议
1 点睛
Robots协议也称作爬虫协议、机器人协议,它的全名叫作网络爬虫排除标准(Robots Exclusion Protocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。
它通常是一个叫作robots.txt的文本文件,一般放在网站的根目录下。
当搜索爬虫访问一个站点时,它首先会检查这个站点根目录下是否存在robots.txt文件,如果存在,搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件,搜索爬虫便会访问所有可直接访问的页面。
2 举例1
User-agent: *
Disallow: /
Allow: /public/
3 说明1
这实现了对所有搜索爬虫只允许爬取public目录的功能,将上述内容保存成robots.txt文件,放在网站的根目录下,和网站的入口文件(比如index.php、index.html和index.jsp等)放在一起。
Disallow指定了不允许抓取的目录,比如上例子中设置为/则代表不允许抓取所有页面。
Allow一般和Disallow一起使用,一般不会单独使用,用来排除某些限制。现在我们设置为/public/,则表示所有页面不允许抓取,但可以抓取public目录。
4 举例2
User-agent: Baiduspider
5 说明2
这就代表我们设置的规则对百度爬虫是有效的。如果有多条User-agent记录,则就会有多个爬虫会受到爬取限制,但至少需要指定一条。
6 禁止所有爬虫访问任何目录
User-agent: *
Disallow: /
7 允许所有爬虫访问任何目录
User-agent: *
Disallow:
8 禁止所有爬虫访问网站某些目录的代码如下:
User-agent: *
Disallow: /private/
Disallow: /tmp/
9 只允许某一个爬虫访问的代码如下:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
二 常见爬虫名称
爬虫名称 |
名称 |
网站 |
BaiduSpider |
百度 |
|
Googlebot |
谷歌 |
|
360Spider |
360搜索 |
|
YodaoBot |
有道 |
|
ia_archiver |
Alexa |
|
Scooter |
altavista |
三 robotparser
1 点睛
了解Robots协议之后,我们就可以使用robotparser模块来解析robots.txt了。该模块提供了一个类RobotFileParser,它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。
该类用起来非常简单,只需要在构造方法里传入robots.txt的链接即可。
首先看一下它的声明:
urllib.robotparser.RobotFileParser(url='')
当然,也可以在声明时不传入,默认为空,最后再使用set_url()方法设置一下也可。
2 RobotFileParser类的常见方法
-
set_url():用来设置robots.txt文件的链接。如果在创建RobotFileParser对象时传入了链接,那么就不需要再使用这个方法设置了。
-
read():读取robots.txt文件并进行分析。注意,这个方法执行一个读取和分析操作,如果不调用这个方法,接下来的判断都会为False,所以一定记得调用这个方法。这个方法不会返回任何内容,但是执行了读取操作。
-
parse():用来解析robots.txt文件,传入的参数是robots.txt某些行的内容,它会按照robots.txt的语法规则来分析这些内容。
-
can_fetch():该方法传入两个参数,第一个是User-agent,第二个是要抓取的URL。返回的内容是该搜索引擎是否可以抓取这个URL,返回结果是True或False。
-
mtime():返回的是上次抓取和分析robots.txt的时间,这对于长时间分析和抓取的搜索爬虫是很有必要的,你可能需要定期检查来抓取最新的robots.txt。
-
modified():它同样对长时间分析和抓取的搜索爬虫很有帮助,将当前时间设置为上次抓取和分析robots.txt的时间。
3 代码
from urllib.robotparser import RobotFileParser
# 创建RobotFileParser对象
rp = RobotFileParser()
# 然后通过set_url()方法设置了robots.txt的链接。
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
#can_fetch()方法判断了网页是否可以被抓取。
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
4 运行结果
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_4.py
False
False