scrapy操作流程
1. 创建项目
使用scrapy命令行工具创建项目目录结构
scrapy startproject xpc
创建完了以后,我们会看当前目录下有一个xpc文件夹,然后
cd xpc
2. 创建虚假环境
首先要切换到相应的python版本下,然后再
virtualenv env
source activate env/bin/activate
virtualenv env
source activate env/bin/activate
环境激活以后,可以安装项目所需要相关包
pip install scrapy
pip install scrapy
生成一下项目的requirements.txt文件
pip freeze > requirements.txt
生成requirements.txt文件的目的是为了让项目的环境能够快速生成,并且,使项目依赖文档化。
pip install -r requrements.txt
# 生成spider文件
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后,运行爬虫
scrapy crawl discovery
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后,运行爬虫
scrapy crawl discovery
parse函数是scrapy默认第一个调用的回调函数,也就是它是start_urls的回调函数。如果想要修改默认回调函数,需要修改scrapy.Spider.start_requests方法。
操作过程注意事项
XPath Helper 谷歌浏览器插件的使用,快速进行xpath匹配。快捷键: ctrl shift x
scrapy shell 的使用
1、首先在环境下安装:pip install ipython
2、scrapy shell + 网址
# scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息,同时可以进行查询,查找,debug
## response.xpath("//ul[@class="video-list"]/li") # 查找匹配内容
## response.text.find('123456') # 查找123456
scrapy view url : 下载网页,并浏览器打开
2、scrapy shell + 网址
# scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息,同时可以进行查询,查找,debug
## response.xpath("//ul[@class="video-list"]/li") # 查找匹配内容
## response.text.find('123456') # 查找123456
scrapy view url : 下载网页,并浏览器打开
延迟加载属性(懒加载)
_src='http://................'
_src='http://................'
xpath 中 following-sibling:: 的使用
# 用户所在地区,定位到icon-location这个span,然后再取它相邻的下一个span
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
xpath匹配:包含函数 contains
cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get()
## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签
## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签
a,*b,c 的使用
score = [3,4,5,7,8,6,9]
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
生成26字母
ord('a')
d = {}
for i in range(97,97+26):
d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}
ord('a')
d = {}
for i in range(97,97+26):
d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}
实现断点续爬
scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
停止后,再次启动,指定这个文件路径,继续爬取。
scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
停止后,再次启动,指定这个文件路径,继续爬取。
scrapy操作流程
1. 创建项目
使用scrapy命令行工具创建项目目录结构
scrapy startproject xpc
创建完了以后,我们会看当前目录下有一个xpc文件夹,然后
cd xpc
2. 创建虚假环境
首先要切换到相应的python版本下,然后再
virtualenv env
source activate env/bin/activate
virtualenv env
source activate env/bin/activate
环境激活以后,可以安装项目所需要相关包
pip install scrapy
pip install scrapy
生成一下项目的requirements.txt文件
pip freeze > requirements.txt
生成requirements.txt文件的目的是为了让项目的环境能够快速生成,并且,使项目依赖文档化。
pip install -r requrements.txt
# 生成spider文件
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后,运行爬虫
scrapy crawl discovery
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后,运行爬虫
scrapy crawl discovery
parse函数是scrapy默认第一个调用的回调函数,也就是它是start_urls的回调函数。如果想要修改默认回调函数,需要修改scrapy.Spider.start_requests方法。
操作过程注意事项
XPath Helper 谷歌浏览器插件的使用,快速进行xpath匹配。快捷键: ctrl shift x
scrapy shell 的使用
1、首先在环境下安装:pip install ipython
2、scrapy shell + 网址
# scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息,同时可以进行查询,查找,debug
## response.xpath("//ul[@class="video-list"]/li") # 查找匹配内容
## response.text.find('123456') # 查找123456
scrapy view url : 下载网页,并浏览器打开
2、scrapy shell + 网址
# scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息,同时可以进行查询,查找,debug
## response.xpath("//ul[@class="video-list"]/li") # 查找匹配内容
## response.text.find('123456') # 查找123456
scrapy view url : 下载网页,并浏览器打开
延迟加载属性(懒加载)
_src='http://................'
_src='http://................'
xpath 中 following-sibling:: 的使用
# 用户所在地区,定位到icon-location这个span,然后再取它相邻的下一个span
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
xpath匹配:包含函数 contains
cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get()
## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签
## './/span[contains(@class, "roles")]/text()' # 匹配 标签中包含 "roles" 的 class标签
a,*b,c 的使用
score = [3,4,5,7,8,6,9]
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
生成26字母
ord('a')
d = {}
for i in range(97,97+26):
d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}
ord('a')
d = {}
for i in range(97,97+26):
d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}
实现断点续爬
scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
停止后,再次启动,指定这个文件路径,继续爬取。
scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
停止后,再次启动,指定这个文件路径,继续爬取。