python爬虫: 查找自己浏览器的headers
- 谷歌浏览器中打开任意一个网页——比如打开百度：https://www.baidu.com/
- 在网页中右键单击点击“检查”，出现如下页面。
- 点击最上方选项卡中的‘Network’选项，再按F5，在‘name’框中会出现一个或多个选项，点击任意选项，在右侧点击‘headers’选项，在最下方找到‘User-Agent:’，如下图
- 将User-Agent:粘贴到自己代码headers中即可：
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, likeGecko) Chrome/87.0.4280.88 Safari/537.36'
}