使用Scrapy框架爬取名言
- 创建项目
- scrapy startproject mingyan
- 创建爬虫实例
- scrapy genspider mySpider lab.scrapyd.cn
- 首先,为了方便,我们先编写一个main.py 文件,运行main.py 就可运行scrapy项目
from scrapy import cmdline
cmdline.execute('scrapy crawl mySpider'.split())
- 这里为了查看方便,我们在settings.py 添加日志文件,记得关闭机器人协议,代码如下
# 日志文件
LOG_FILE = 'my.log'
# 日志等级