Requests简介
- 最友好的网络爬虫功能库
- 提供了简单易用的类HTTP协议网络爬虫功能
- 支持连接池、SSL、Cookies、HTTP(S)代理等
- Python最主要的页面级网络爬虫功能库
Request库小测
>>> import requests
>>> r = requests.get("http://www.baidu.com");
>>> r.status_code
200
>>> r.text[:200];
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link re'
>>> r.text[-500:];
'script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
Request库的7个主要方法
方法 | 说明 |
---|---|
requests.request() | 构造一个请求,支撑一下各方法的基础方法 |
requests.get() | 构造HTML网页的主要方法,对应与HTTP的GET |
requests.head() | 获取HTML网页头信息的方法,对应于HTTP的HEAD |
requests.post() | 向HTML网页提交POST请求的方法让,对应于HTTP的POST |
requests.put() | 向HTML网页提交PUT请求的方法,对应于HTTP的PUT |
request.patch() | 向HTML网页提交局部修改请求,对应于HTTP的PATCH |
request.delete() | 向HTML网页提交删除请求,对应于HTTP的DELETE |
Requests库的get()方法
r = requests.get(url)
- 构造一个向服务器请求资源的Request对象
- 返回一个包含服务器资源的Response对象r
request.get(url, params=None, **kwargs)
- url:拟获取页面的url链接
- params:url中的额外参数,字典或字节流格式,可选
- **kwargs:12个控制访问的参数
get方法内部调用了request方法
Response对象的属性
属性 | 说明 |
---|---|
r.status_code | HTTP请求的返回状态,200表示连接成功,404表示失败 |
r.text | HTTP响应内容的字符串形式,即url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容的编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
r.content | HTTP响应内容的二进制形式 |
理解Response的编码
r.encoding:如果header中不存在charset,则认为编码为ISO-8859-1,r.text根据r.encoding显示网页内容
r.apparent_encoding:根据网页内容分析出的编码方式,可以看作是r.encoding的备选
扫描二维码关注公众号,回复:
11321724 查看本文章
理解Requests库的异常
异常 | 说明 |
---|---|
requests.ConnectionError | 网络连接错误异常,如DNS查询失败,拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL确实异常 |
requests.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requests.ConnectTimeout | 连接远程服务器超时异常 |
requests.Timeout | 请求URL超时,产生超时异常 |
r.raise_for_status() | 如果不是200,产生异常requests.HTTPError |
r.raise_for_status()在方法内部判断r.status_code是否等于200,不需要增加额外的if语句,该语句便于利用try-except进行异常处理
**kwargs控制访问参数
参数 | 说明 |
---|---|
params | 字典或字节序列,作为参数增加到url中 |
data | 字典、字节序列或文件对象,作为Request的内容 |
json | JSON格式的数据,作为Request的内容 |
headers | 字典、HTTP定制头 |
cookies | 字典或CookieJar,Request中的cookie |
auth | 元祖,支持HTTP认证功能 |
files | 字典类型,传输文件 |
timeout | 设定超时时间,单位:秒 |
proxies | 字典类型,设定访问代理服务器,可以增加登录认证 |
allow_redirects | True/False,默认为True,重定向开关 |
stream | True/False,默认为True,获取内容立即下载开关 |
verify | True/False,默认为True,认证SSL证书开关 |
cert | 本地SSL证书路径 |
1.params:字典或字节序列,作为参数增加到url中
>>> import requests
>>> kv = {'key1':'value1','key2':'value2'};
>>> r = requests.request('GET', 'http://python123.io/ws', params=kv);
>>> r.url
#'https://python123.io/ws?key1=value1&key2=value2'
2.data:字典、字节序列或文件对象,作为Request的内容
>>> import requests
>>> body = '主题内容'.encode('utf-8');
>>> r = requests.request('POST', 'http://python123.io/ws', data=body);
3.json:JSON格式的数据,作为Request的内容
>>> import requests
>>> kv = {'key1':'value1'};
>>> r = requests.request('POST', 'http://python123.io/ws', json=kv);
4.headers:字典,HTTP定制头
>>> import requests
>>> hd = {'user-agent':'Chrome/10'};
>>> r = requests.request('POST', 'http://python123.io/ws', headers=hd);
5.files:字典类型,传输文件
>>> import requests
>>> fs = {'file':open('data.xls','rb')};
>>> r = requests.request('POST', 'http://python123.io/ws', files=fs);
6.proxies:字典类型,设定访问代理服务器,可以增加登录认证
>>> import requests
>>> pxs = {'http':'http://user:[email protected]:1234',
'https':'https://10.10.10.1:4321'};
>>> r = requests.request('GET', 'http://www.baidu.com',proxies=pxs);
本文仅为学习Python记录,资料来源于中国大学MOOC《Python网络爬虫与信息提取》—嵩天