第零步。让我们先建立一个scrapy工程
我默认为你已经做到这一步了。
以上是一个比较标准的scrapy工程项目,应为这个项目裏参杂了一些别的代码,当然你可以忽视
第一步:安装scrapyd
为了让你get到我的意思我把我电脑中该文件的具体位置给截下来供你参考:
我把python安装在了F盘裏面,当然一般情况下应该安装在C盘裏面的。不过无论你安装在哪裏都不要紧,按照第二步来做就行了。
第二步:找到你python的scripts文件中的scrapyd-deploy这个文件然后复制到你的scrapy工程的目录下:
如图所示:
第三步:此时按我的步骤来解决问题,不要问什麽原因:
在python的scripts中创建一个这个文件
编辑这个文件:
编辑的内容如下:
@echo off
"F:\Programs\Python\Python35\python.exe" "F:\Programs\Python\Python35\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
可是你不能和我写的一样对吧,你要按照你python.exe的路径来写,我相信这一步你能看懂吧。
第四步:
依然是这个文件目录,打开scrapy.cfg的配置文件
然后对配置文件做一定的修改:
修改如下:
这个是我的配置文件,然而你不需要完全模仿我的配置,你需要改的地方只有[deploy:demo]
以及将#url=http;//localhost:6800修改成url=http://localhost:6800
第五步:让我们安装scrapy-redis
第六步:让我们安装spiderkeeper
第七步:在你的scrapy工程项目中运行powershell或者cmd吧
然后键入这样的命令
你要键入的命令只有scrapyd,一旦出现类似下面的内容说明这步是成功的。
第八步:如果你是windows系统的用户你需要安装一个curl的软件,自己在百度上寻找,然后下载这个软件以后然后配置环境变量就行了,配置的路径是curl.exe的根目录bin文件夹
是的你把bin这个文件夹的路径放到环境变量中就可以了。
第十一步:
然后在你的scrapy的工程项目中新打开一个cmd或者powershell,然后键入scrapyd-deploy demo -p p2pinvestment
这裏的pinvestment是我项目的名称,你和我不一样,你有你自己的项目名称,需要注意!
第十二步
然后在再同一个命令窗口下键入
spiderkeeper --server=http://localhost:6800
第十三步
然后在你的浏览器窗口下键入
http://localhost:5000/
结果会出来如下的内容:
这裏的用户名是admin密码是admin
返回的结果就是如下所示啦。
后面的教程网上就很详细了,我也就没有这个必要在写下去了。