1.pip install scrapy
*Command “python setup.py egg_info” failed with error code 1 in C:\Users\kkk\AppData\Local\Temp\pip-build-x4s15q_w\Twisted*
主要是因为Twisted 包安装失败造成的
如果提示缺少VC环境
下载地址
https://www.microsoft.com/en-us/download/details.aspx?id=48145
解决方案
https://www.lfd.uci.edu/~gohlke/pythonlibs/
找到你的环境所对应的twisted版本
如何安装 twisted
pip install Twisted-17.9.0-cp36-cp36m-win32.whl
2.No module named win32api
在使用 scrapy内置的 shell命令时
scrapy shell http://www.baidu.com
报如下错误
ModuleNotFoundError: No module named 'win32api'
解决方案
pip install pypiwin32
3.将item导出 csv 或者json 等格式文件时 中文乱码
scrapy文件导出方式
scrapy crawl xx(爬虫名字) -o xx.json
scrapy crawl xx(爬虫名字) -o xx.csv
scrapy crawl xx(爬虫名字) -o xx.xml
title 本来是中文的
解决方案
在setting中添加
FEED_EXPORT_ENCODING = 'utf-8'