安装
linux/mac 超简单
pip install scrapy -i https://pypi.douban.com/simple
windows(要装很多依赖)
- 1.scrapy依赖twiste,进⼊http://www.lfd.uci.edu/~gohlke/pythonlibs/ ,找到适合的版本
版本请打开cmd
输入python
前往不要觉得自己的电脑是多少位就装多少位的,要严格按照上显示安装对应的版本
-
2.在下载存放的⽬目录下安装
pip install 文件名
例如:pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl(这是我电脑对应的版本) -
3.进入虚拟环境安装pywin32(64位和32位都要装)
pip install pypiwin32 -
4 安装scrapy第三方库
-
pip install scrapy
-
scrapy框架图解
创建项目
scrapy startproject 项目名
- 创建spider(爬虫)
scrapy genspider 爬虫文件名 地址()
setting文件配置
- 首先
ROBOTSTXT_OBEY = False (默认为True改为False)
FEED_EXPORT_ENCODING = ‘utf-8’
- 输出(scrapy crawl 项目名(是一个py文件) 生成文件名.格式 )
格式: (csv, xml, pickle, marshal)