如何在IDEA创建scrapy工程

进入doc输入activate
然后进入你想创建scrapy工程的文件输入以下代码

scrapy startproject 项目名

工程创建结束之后会有这几个文件和文件夹
如下图的
这里写图片描述
进入有个cfg文件的目录,以后操作都是在这个目录下比如创建Sprders和爬虫等等。。
计入air_quality文件里面,开始是下面这样:
这里写图片描述
下面来介绍下几个主要的文件
1.items.py这个文件就是存放爬取完成之后的对象,可以根据自己的业务进行编写
2.middlewares.py 就是一些中间件
3.pipelines.py 用来出来爬虫姐结果的,也是可以根据具体业务进行编写
4.settings.py 是你整个爬虫框架的一些配置 比如名称之类的 是需要集体配置的
5.spiders 是你工作目录,需要编写spiders ,但是主要靠生成模板

在当前目录命令行下输入

air_quality>scrapy genspider 爬虫名字 目标网站
``
这是进入spiders会发现多一个爬虫名字 .py的文件内容如下!![这里写图片描述](https://img-blog.csdn.net/20180804212201985?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTY4NTEy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
这个时候输入
scrapy crawl 爬虫名
这个时候发现他是确实能运行的
都结束之后就可以根据情况来进行具体代码编写和相关配置了`

猜你喜欢

转载自blog.csdn.net/qq_36968512/article/details/81415682