创建spdier的模板

今天我们来修改spdier中的模板

当我们新建scrapy项目的时候scrapy stratproject test
可以cd test到项目中,执行命令scrapy genspider baidu baidu.com
这么我们就创建了一个spider爬虫了,但是随着我们爬虫的深入,scrapy给我们提供的默认模板已经满足不了我们的需求的时,我们可以自定义我我们的需求。
执行scrapy genspider -l 可以查看spdier我们提供的4中基础模板
basic,crawl,csvfeed, xmlfeed,这4种,
scrapy自带的模板
现在我们可以修改basic模板,
1,进入到scrapy的源码包,找不到源码包的,我们可以通过pycharm来打开我们的项目,如图所示:
scrapy源码
进入到External Libraries 目录下面的site-packages包下面
这里写图片描述
找个这个包下面的scrapy包:
这里写图片描述

打开basic.templ文件,进行编辑成我们想要的模板样子,
完成之后,我们通过命令创建spider模板:
scrapy genspider baidu baidu.com 就成功使用我们修改过的模板了,非常方便,还可以修改template文件中的其它py文件,tempate以外的文件就不要随便修改,以免出现bug。

猜你喜欢

转载自blog.csdn.net/qq_34971175/article/details/72758228