Request类是scrapy模块中request请求的基类,request请求类中还有FormRequest类,继承了Request类并进行了扩充
一、Request
Scrapy.http.Request:
Scrapy.http.Request类是scrapy框架中request的基类。它的参数如下:
url(字符串) - 此请求的URL,发起请求的URL
callback(callable)- 回调函数
method(string) - 此请求的HTTP方法。默认为’GET’。
meta(dict) - Request.meta属性的初始值。
body(str 或unicode) - 请求体。如果没有传参,默认为空字符串。
headers(dict) - 此请求的请求头。
cookies - 请求cookie。
encoding(字符串) - 此请求的编码(默认为’utf-8’)此编码将用于对URL进行百分比编码并将body转换为str(如果给定unicode)。
priority(int) - 此请求的优先级(默认为0,该优先级和管道的不一样,从高到低)。
dont_filter(boolean) - 表示调度程序不应过滤此请求。(默认过滤)
errback(callable) - 在处理请求时引发任何异常时将调用的函数。(是一个回调函数)
flags(list) - 发送给请求的标志,可用于日志记录或类似目的。
a=Request(url,·······)
cb_kwargs (dict) – 具有任意数据的dict,将作为关键字参数传递到callback
属性和方法:
url 包含此请求的URL的字符串。该属性是只读的。更改请求使用的URL replace()。
method 表示请求中的HTTP方法的字符串。
headers 类似字典的对象,包含请求头。
body 包含请求正文的str。该属性是只读的。更改请求使用的URL replace()。
meta 包含此请求的任意元数据的字典。
copy() 返回一个新的请求,改请求是此请求的副本。复制一个副本出来
replace([ URL,method,headers,body,cookies,meta,encoding,dont_filter,callback,errback] ) 返回一个更新对的request
print(a.url)
b=a.replace(~~~~~·······)进行更新,修正,然后生成的b为最新的请求
FormRequest:
能更方便的使用post方法,对post进行了重写,主要是让post更好用了
get请求和post请求是最常见的请求。scrapy框架内置了一个FormRequest类
它扩展了基类Request,具有处理HTML表单的功能。
它使用lxml.html表单,来预先填充表单字段,其中包含来自Response对象的表单数据。
具体API,我们来学习源码
二、Response
导出:from scrapy.http.response import Response
参数:下面一些参数在构造response时,如果不写入,只有request的话,一般只表述出request对应的请求的内容。
url(字符串) - 此响应的URL
status(整数) - 响应的HTTP状态。默认为200。
headers(dict) - 此响应的响应头。dict值可以是字符串(对于单值标头)或列表(对于多值标头)。
body(字节) - 响应主体。要将解码后的文本作为str(Python 2中的unicode)访问,您可以使用response.text来自编码感知的 Response子类,例如TextResponse,
如果是图片数据必须要用response.body得到,不是图片数据,就要先导出from scrapy.http.response import text(这里的text的源码经过解码处理),然后就可以response.text
,一般用response.text来打印出响应内容
flags(列表) - 是包含Response.flags属性初始值的列表 。如果给定,列表将被浅层复制。
request(Requestobject) - Response.request属性的初始值。这表示Request生成此响应的内容。
属性和方法:
url
status
headers
body
request
meta:在构造response中,有request,response的meta就会返回其request的meta
flags
copy()
replace([ url,status,headers,body,request,flags,cls ] )
urljoin(url ):合并url
follow(url)
三、日志使用
在settings中,输入以下内容可设置日志
LOG_FORMAT='%(asctime)s [%(name)s] %(levelname)s:%(message)s'
LOG_DATEFORMAT='%Y'
项目中一般只设置以下两种参数:
LOG_FILE = ‘logfile_name’
LOG_LEVEL = ‘INFO’
asctime为ascii码时间,name组件名,DATEFORMAT只加%Y表示只显示年份的信息
除了以上的两种日志配置参数,下面还有可以输入的:
这些设置可用于配置日志记录:
LOG_FILE 日志输出文件,如果为None,就打印在控制台,一般为None
在pycharm窗口面操作打印时,内容都是输出在控制台上,主要因为LOG_FILE是关闭的,
只要给设置LOG_FILE=‘ 文件名’ 就可以存在对应的文件中,没有该文件会自动创建
LOG_ENABLED 是否启用日志,默认True,关闭后不发送到控制台,但可以发送到文件中
LOG_ENCODING 日期编码,默认utf-8
LOG_LEVEL 日志等级,默认debug(调试的意思):默认为调试信息(debug为最低级调试)
调试信息DEBUG <一般信息INFO<警告WARNING<一般错误ERROR<严重错误CRITICAL
LOG_FORMAT 日志格式
LOG_DATEFORMAT 日志日期格式
LOG_STDOUT 日志标准输出,默认False,如果True所有标准输出都将写入日志中,true时就连print打印的东西也会写进日志,利于写入自己的一些想表述的内容
LOG_SHORT_NAMES 短日志名,默认为False,如果True将不输出组件名
一般日志存储在控制台,但存储时间不长,阅读也麻烦,所以可以记录在以下组件中:
在spider中记录:
Scrapy logger 在每个Spider实例中提供了一个可以访问和使用的实例
在其他组件中记录:
当然可以通过python的logging来记录。
比如:logging.warning(‘This is a warning!’)
在爬虫文件的实例方法里加入self.logging.warning(‘~~~~~~·······’)可以写入日志来做个标记,在其他组件中的实例方法里输入也可以用。
但是为了后期维护方面,我们可以创建不同的记录器来封装消息。
并且使用组件或函数的名称进行命名,见左图案例:
四、Github登录
请求流程:
向session的url提交post 用户名 密码等数据,获取登录页面
具体提交内容可查看页面代码的表单数据。
commit: Sign in
authenticity_token: JU/SqAIMuKu3rPzOQIpRTceVO31XU6Nw68DNPRqdvfoUTDVt1FBpR8lbsmqGLxhvtj4IloWy8EMvZshupa+9yw==
login: [email protected]
password: qweqqweqw
trusted_device:
webauthn-support: supported
webauthn-iuvpaa-support: supported
return_to:
allow_signup:
client_id:
integration:
required_field_0a14:
timestamp: 1611654568362
timestamp_secret: 376cea0b768fde0e5897b8995b2ab6ed62eabc56bd4b5f8ef01cb6a9a2e969a7
提交两次错误的密码,来找到上面的内容,然后进行对比,发现相同的就可以忽略不管,不同的就留着进行构造,键名不同但是没数据的可以不用管,时间戳(timestamp: 1611654568362)及timestamp_secret需要构造
需要构造参数获取的方式:
1、之前请求页面中获取
访问登录页面查看源代码,获取session需要的参数
2、js代码动态生成
现阶段不考虑
构造成功后,用formrequest类来请求比较方便
mark dic····· as 中source root可以把文件设置成该文件对应的目录下路径的相对参考系