Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Ubuntu14下安装步骤：
环境准备
（1）Ubuntu 14.04
（2）Python 2.7.6 （系统自带）
（3）OpenSSL
检查是否安装
如未安装
通过命令 sudo apt-get install openssl 安装
（4） lxml
如未安装
通过命令 sudo apt-get install xml2 安装
（5）安装 libevent-dev libevent是一个时间出发的高性能的网络库，很多框架的底层都使用了libevent
sudo apt-get install libevent-dev （6） 安装 scrapy
sudo pip install scrapy
安装成功，可通过命令查看scrapy版本
1.sudo pip install scrapy 出错
解决办法
添加文件 ~/.pip/pip.conf 并添加内容
[global]
index-url=http://pypi.douban.com/simple/
操作命令
cd ~/.pip
sudo vim pip.conf
打开vim编辑器，键入 i
输入文件内容，然后按Esc，再按Shift+:，输入wq。
再次执行sudo pip install scrapy 操作成功。
2.执行scrapy version 出错
原因 TWIST 版本问题，需安装一个低版本的
执行 sudo pip install Twisted==10.0.0