python爬虫抓取网站情况举例

a.假设获取的是二进制文件,则可以借鉴如下方法保存数据:

import requests
r = requests.get('https://www.baidu.com/img/bd_logo1.png')
with open('baidu.png', 'wb') as fp:
   fp.write(r.content)

b.为了反爬,有些网站会对Headers的User-Agent进行检测,需将headers信息传递给get函数的headers参数,例如知乎,直接访问会返回400,加上headers参数后可正确返回:

>>> re = requests.get('https://www.zhihu.com')
>>> re.status_code
400
# headers可从http测试网站https://httpbin.org或浏览器的“开发者工具”获得
>>> headers = {"User-Agent": "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.83 Safari/535.11"}
>>> re = requests.get('https://www.zhihu.com', headers = headers)
>>> re.status_code
200

反爬的策略还有很多,需要逐渐熟悉,有些网站要想获得数据还需要登录,需要分析登录需要的属性

c. 被JS渲染过的页面内容获取

可以通过浏览器的“开发者工具”功能寻找真正提供数据的页面,有时会有一定的难度。

猜你喜欢

转载自blog.csdn.net/Liiipseoroinis/article/details/89468282