目录
Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。
更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。
一、安装requests
如果安装了Anaconda,requests就已经可用了。否则,需要在命令行下通过pip安装:
$ pip install requests
如果遇到Permission denied安装失败,请加上sudo重试
二、使用requests
2.1通过GET访问一个页面
2.1.1无参数的URL
>>> import requests
>>> r = requests.get('https://www.douban.com/') # 1、获取网页
>>> r.status_code
200
>>> r.text #2、获取网页内容
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'
2.1.2带参数的URL
传入一个dict作为params
参数:
>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 实际请求的URL
'https://www.douban.com/search?q=python&cat=1001'
传入HTTP Header时,我们传入一个dict作为headers
参数:
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...
2.1.3指定超时
指定超时,传入以秒为单位的timeout参数:
>>> r = requests.get(url, timeout=2.5) # 2.5秒后超时
2.2通过post访问一个页面
2.1.1无参数的URL
访问一个页面发送请求,只需要把get()
方法变成post()
,然后传入data
参数作为POST请求的数据:
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'})
2.1.2有参数的URL
传递JSON数据,可以直接传入json参数,requests默认使用application/x-www-form-urlencoded
对POST数据编码:
params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为JSON
传文件需要更复杂的编码格式,但是requests把它简化成files
参数:
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
2.1.3指定超时
指定超时,传入以秒为单位的timeout参数:
import requests
r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'}, timeout=2.5)
print(r.content)
2.3上传文件
传文件需要更复杂的编码格式,但是requests把它简化成files
参数,在读取文件时,注意务必使用'rb'
即二进制模式读取,这样获取的bytes
长度才是文件的长度:
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.get(url, files=upload_files)
2.4传入json参数
requests默认使用application/x-www-form-urlencoded
对POST数据编码。如果要传递JSON数据,可以直接传入json参数:
import requests
url='https://www.douban.com/search'
params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为JSON
print("ok")
import requests
url='https://www.douban.com/search'
params = {'key': 'value'}
r = requests.get(url, json=params) # 内部自动序列化为JSON
print("ok")
2.5encoding
属性查看编码
>>> r.encoding
'utf-8'
2.6content
属性获得bytes
对象
>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
2.7直接获取json等特定类型的响应
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
2.8获取响应头
>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'
2.9获取指定的Cookie
>>> r.cookies['ts']
'example_cookie_12345'