一、导读
爬虫的魅力大家应该都有所耳闻吧,什么vip啊,什么高清美图啊(邪恶的一笑),什么付费电影的啊,在爬虫面前都是不堪一击的。不好意思牛逼吹过了,如此强大的爬虫,自然需要一个牛逼的框架,今天的主角Scrapy爬虫框架。万里长征第一步,还是先装好环境吧。不瞎逼逼了。
二、步骤
-
先下载python环境(下载地址:python传送门)
-
安装wheel库的
pip install wheel
首先点击:python第三方下载地址 这个地址(如果是用qq浏览器下载,下载会出现404页面,我当时就是这样的,需要谷歌浏览器下载,其它浏览器不清楚有没有404情况了),网页中搜索twiste关键字如下图:
其中cp37代表python的版本需要和自己本地装的python的版本对应上(比如我的python版本是3.7就下载37,64的那个),32,64代表电脑是多少位的。
下载好然后再当前目录下执行下面的命令
pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl
pip install lxml‑4.3.2‑cp37‑cp37m‑win_amd64.whl
上面的环境安装好了之后,就可以直接用pip安装Scrapy库了。
pip install Scrapy
scrapy version
-
安装pywin32模块(还是根据自己python版本下载对应的版本) 下载地址
-
总结 (ps:需要注意把python的home路径和里面的Scripts加入环境变量中,如下图)
为什么要上面那安装,下面这张图说明了一切了(再次邪恶一笑~~)