request.Request类
什么要使用request.Request类?
在我们用程序进行爬虫的时候,网站往往会有一些反爬虫的程序,如果不使用request.Request类,那么浏览器和网站一眼就可以看出这个是一个python代码在请求网页,这时网站会拒绝访问,或者会发送假的数据给我们来迷惑我们.
所以我们要使用request.Request类来伪装我们的爬虫程序,将其包装为一个浏览器,这时网站就不会阻碍我们的访问.
实战爬取www.2345.com主页
from urllib import request
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
}
req = request.Request('http://www.2345.com/?40076',headers=headers)
resp = request.urlopen(req)
print(resp.read())
成功爬取到了数据,但是数据解析暂时还不是很懂,当学完了数据解析,再反过来对爬取到的数据进行解析.
是因为我们数据没有解析的原因,编码好像有问题,因此爬的数据没能中文显示.
本文是我在学习爬虫视频时的一些笔记和自己的实战记录,如有侵权,联系我,会及时删除,另外如果有兄弟们要一起鼓励,一起学习,一起成长,一起头凉凉,欢迎关注我,一起监督一起成长
