关于python爬虫资料,网上一搜一大摞,本文也基本上参考网上查到的资料,记录自己过的踩坑,可以偶偶翻翻,避免再范。
推荐一个Scrapy教程:http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#intro-tutorial
博主python环境
系统:windows7
python版本:python 3.6
IDE:Pycharm
Scrapy 安装
主要参考 作者:Jack-Cui 文章:Python3安装Scrapy (http://blog.csdn.net/c406495762/article/details/60156205)
使用pip安装问题很多:
- Failed building wheel for lxml
- Microsoft Visual C++ 10.0 is required
- Failed building twisted
- Unable to find vcvarsall.bat
文中所列基本上都遇到了
解决方案:上文中的方案实测有效
在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库,可以在该网站下载Lxml、Twisted、Scrapy对应版本
怎么找对应版本,举个例子:lxml-4.2.1-cp36-cp36-win_amd64.whl 表示 lxml版本为4.2.1,适用于python3.6-64bit 版本
进入文件所在文件夹下,打开cmd,使用命令 依次安装:pip3 install wheel,pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl,pip3 install Twisted-18.4.0-cp36-cp36m-win_amd64.whl,pip3 install Scrapy-1.5.0-py2.py3-none-any.whl(注意顺序)
博主使用的是PyCharm Terminal c窗口运行的命令,直接使用cmd运行安装成功后依旧报错,目前原因未知
安装pywin32
到网址:https://sourceforge.net/projects/pywin32/files/pywin32/ 下载对应版本步骤安装即可。
到此就可以正常使用Scrapy了