1.什么是爬虫
请求⽹站并提取数据的⾃动化程序
2.爬虫基本流程
- 发起请求。通过HTTP库向⽬标站点发起请求,即发送⼀个Request,请求可以包含额外的headers等信息,等待服务器响应。
- 获取响应内容。如果服务器能正常响应,会得到⼀个Response,Response的内容便是所要获取的⻚⾯内容,类型可能有HTML,Json字符串,⼆进制数据(如图⽚视频)等类型。
- 解析内容,得到的内容可能是HTML,可以⽤正则表达式、⽹⻚解析库进⾏解析。可能是Json,可以直接转为Json对象解析,可能是⼆进制数据,可以做保存或者进⼀步的处理。
- 保存数据。保存形式多样,可以存为⽂本,也可以保存⾄数据库,或者保存特定格式的⽂件。
3.什么是Request和Response?
- 浏览器就发送消息给该⽹址所在的服务器,这个过程叫做HTTP Request。
- 服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫做HTTP Response。
- 浏览器收到服务器的Response信息后,会对信息进⾏相应处理,然后展示。
Request
- 请求⽅式.主要有GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPTIONS等。
- 请求URL.URL全称统⼀资源定位符,如⼀个⽹⻚⽂档、⼀张图⽚、⼀个视频等都可以⽤URL唯⼀来确定。
- 请求头.包含请求时的头部信息,如User-Agent、Host、Cookies等信息。
- 请求体.请求时额外携带的数据如表单提交时的表单数据.
Response
- 响应状态.有多种响应状态,如200代表成功、301跳转、404找不到⻚⾯、502服务器错误
- 响应头.如内容类型、内容⻓度、服务器信息、设置Cookie等等。
- 响应体.最主要的部分,包含了请求资源的内容,如⽹⻚HTML、图⽚⼆进制数据等。
4.能抓怎样的数据?
- ⽹⻚⽂本.如HTML⽂档、Json格式⽂本等。
- 图⽚.获取到的是⼆进制⽂件,保存为图⽚格式。
如定位图中图片网址复制下来
import requests
response = requests.get('https://h.2345cdn.net/i/search20200812/pic-1.png')#响应
print(response.content)#打印二进制格式,图片为二进制
#写入文件
with open('D:\\deeplearn\\xuexicaogao\\百度.jpg','wb') as f:
f.write(response.content)
f.close()
print('结束')
-
视频。同为⼆进制⽂件,保存为视频格式即可。
-
其他。只要是能请求到的,都能获取。
5.解析⽅式
我们需要对得到的网页源代码进行解析,解析方式有如下
- 直接处理。构造简单,内容简单可以直接处理
- Json解析。
- 正则表达式
- BeautifulSoup
- XPath
- PyQuery
6.如何保存数据
- ⽂本。纯⽂本、Json、Xml等。
- 关系型数据库。如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。
- ⾮关系型数据库。如MongoDB、Redis等Key-Value形式存储。
- ⼆进制⽂件。如图⽚、视频、⾳频等等直接保存成特定格式即可。
创作不易,大佬请留步… 动起可爱的双手,来个赞再走呗 (๑◕ܫ←๑)