在Scrapy框架中创建爬虫项目运行爬虫和配置下载图片

本文讲解在 Scrapy下创建爬虫项目,以下是创建步骤,创建实例见底部附录

创建项目步骤

1. 打开cmd命令行工具,输入scrapy startproject 项目名称(有虚拟环境先进入虚拟环境)

 2. 使用pycharm打开项目,查看项目目录

3. 创建爬虫,打开CMD,cd命令进入到爬虫项目文件夹,输入scrapy genspider 爬虫文件名 爬虫基础域名

4.  打开pycharm,发现spider目录下多出一个bole.py文件

5. 运行爬虫

 配置下载文件步骤

    1. Item下载图片的属性必须是列表

 

    2.Settings文件中设置以下三个值

 

附录: 以下是创建项目名为 ivsky_picture 的天堂图片网scrapy完整步骤(在虚拟环境下完成创建)

猜你喜欢

转载自blog.csdn.net/A_fool_Program_ape/article/details/83033697