Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台下,它所依赖的库有所不同,所以在安装的时候,最好确保把一些基本库都安装好。
相关连接:
官方网站:https://scrapy.org
PyPI:https://pypi.python.org/pypi/Scrapy
GitHub:https://github.com/scrapy/scrapy
中文文档:http://scrapy-chs.readthedocs.io
相关库的安装:
①安装pyOPenSSL(https://pypi.python.org/pypi/pyOpenSSL#downloads)
pip install pyOpenSSL-19.0.0-py2.py3-none-any.whl
②安装PyWin32
(https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/或者在百度搜索Home Browse Python for Windows Extensions Files,选择下载对应python版本,如pywin32-221.win-amd64-py3.7.exe下载安装即可)
- (一)Scrapy推荐安装步骤(Windows)(出错概率小)
建议安装顺序:
1、开个VPN或者下载到本地安装方式(开vpn的方法在这就不过多赘述);
2、首先,升级pip:python -m pip install --upgrade pip(建议网络安装)
在控制台cmd(快捷键win+R)下升级和安装;
3、安装wheel(网络安装),pip install wheel(同样在控制台下安装);
4、安装lxml ,(下载安装)https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
进入网址后Ctrl+F搜索lxml,如图会出现对应的lxml,我们下载和安装的python对应的版本,然后在控制台下安装pip install lxml-4.3.3-cp37-cp37m-win_amd64.whl(注意这儿一定要将完整的文件名,很多人在这儿出错)
(查看我们安装的python版本和多少位的,我这儿安装的是3.7,64bit的)
5、安装Twisted(下载安装,同lxml一样的在网站里,查找下载安装);
6、pip install scrapy 或下载指定版本 pip install scrapy==版本号(如1.1.0rc3在控制台下网络安装),安装完成成功如下。
*****Bingo!*****
(三)python3.*安装Scrapy常见错误
1、
出现上面错升级pip就ok;
2、
Scrapy对Visual studio依赖,这时是缺少Microsoft.NET Framework,直接去搜索Microsoft.NET Framework下载安装就好
3、
出现这个问题就是lxml,直接依上下载lxml然后 pip安装就ok.
4、
同上
5、
出现这个问题,安装好Twisted和lxml就能解决。
6、ImportError:No module named ‘packaging’,这是缺少packaging包,利用pip安装即可:pip install packaging即可;
7、ImportError:No module named ‘_cffi_backend’,这是缺少cffi包,pip install cffi 即可;
8、ImportError:No module named ‘pyparsing’,这是缺少pyparsing包,同样pip install pyparsing appdirs。
Bingo成功了!!!!!!!!!!!
作者:谢志诚
时间:2019.5.6