Scrapy安装配置
一、安转Twisted
pip install Twisted 出错:error: Microsoft Visual C++ is required
参考博客:http://blog.csdn.net/WelcomeToHebei/article/details/48827847,并不需要安装这个软件。
打开网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,这个里面提供了许多python需要用到的运行环境文件。
Ctrl+F查找Twisted,下载与python版本相对应的版本,我的是python3.5。
注意如果下错了版本会报错:wisted-17.5.0-cp36-cp36m-win32.whl is not a supported wheel on this platform.
在cmd中输入命令行安装:
pip install F:\360Downloads\Software\Twisted-17.5.0-cp36-cp36m-win32.whl
终于不要再忍受安装不了还出各式各样的错误的情况啦!!
二、安装Scrapy
1、在cmd中输入命令: pip install scrapy
看到Successfully installed Scrapy-1.4.0 queuelib-1.4.2就安装好了
2、安装关联模块pypiwin32,输入命令: pip install pypiwin32
Successfully installed pypiwin32-219 安装成功
三、创建项目
在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
上面只是个警告而不是错误
该命令将会创建一个 tutorial 目录:
第一个tutorial的内容如下:
第二个tutorial的内容如下:
这些文件的作用如下:
学习网址:Scrapy入门教程http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html