Scrapy常用的命令

1.查看帮助命令
scrapy -h
scrapy –help

2.查看版本信息
scrapy version
scrapy version -v

3.全局命令和项目命令文档截图
这里写图片描述

4.全局命令

a)创建项目(startproject)
scrapy startproject testproject
这里写图片描述

b)创建蜘蛛,默认模板basic,一个项目可以创建多个蜘蛛(genspider)
cd testpeoject
scrapy genspider testspider baidu.com
scrapy list
所有模板:
basic 基础
crawl自动爬虫
csvfeed用来处理csv文件
xmlfeed用来处理xml文件
模板命令:scrapy genspider -t basic testspider www.baidu.com,创建了一个带模板的testspider蜘蛛
这里写图片描述

c)运行蜘蛛(runspider)
命令行切换到spiders文件夹下,然后runspider
scrapy runspider testspider.py

d)交互式终端(shell)
进入终端:scrapy shell ‘www.baidu.com’
查看状态: response
显示网页html:response.text
xpath匹配数据:response.xpath(‘//div[@class=”head_wrapper”]’)
退出终端:exit()
这里写图片描述

e)打印heml(fetch)
scrapy fetch –nolog http://www.example.com/some/page.html

f)本地查看网页(view)
查看本地豆瓣主页,文件保存在本地,可加载动态js,提供网页动态数加载分析:scrapy view https://www.douban.com

g)查看版本信息(version)
scrapy version -v
i)查看配置文件节点(settings)
scrapy settings –get BOT_NAME

5.项目命令(目录切换到项目目录下)
a).运行蜘蛛(crawl)
scrapy crawl testspider

b).测试爬虫,编译是否由错误(check)
scrapy check testspider
这里写图片描述

c).显示所有蜘蛛
scrapy list

d).编辑器打开爬虫(edit)
scrapy edit testspider

e).执行请求后,回调函数,yield到Item(parse)
scrapy parse http://www.example.com/ -c TestprojectItem
这里写图片描述

f).测试本地硬件性能(bench)
scrapy bench

猜你喜欢

转载自blog.csdn.net/sunbo_csdn/article/details/82117275