Python Scrapy爬虫框架的安装和使用测试(解决 error: no moudle named Spider问题)

Scrapy 是Python中的一个爬虫框架,下面以64位 win10+python3.5为基础,进行安装Scrapy框架。

1 安装Scrapy的依赖包:1) lxml-4.2.1-cp35-cp35m-win_amd64.whl ,

  •           2) pywin32‑223‑cp35‑cp35m‑win_amd64.whl , 3 )Twisted-18.4.0-cp35-cp35m-win_amd64.whl,其中2) 为3)的依赖
  • http://www.lfd.uci.edu/~gohlke/pythonlibs/  下载所需的版本,注意版本号的对应,下载到一个文件夹下
  • 2 依次按顺序使用 pip install 目录名\***.whl,进行安装
  • 3 成功安装 whl 包后,进行安装 scrapy 使用命令 : pip install Scrapy 进行直接安装
  • 4 成功后,命令行输入  scrapy 进行验证 出现下图则成功:

  • 成功安装后,进行第一个爬虫程序书写,这时候要注意一个坑,由于scrapy为一个框架,所以直接建立的项目在使用 import scrapy.Spider会直接报错,我就一直出现这个错误,错误为:
  • no moudle 'Spider' 之类的。这个我原以为是我的Scrapy安装有问题,其实不是!!!!!是我的爬虫运行方式有问题,这个框架运行程序,有一定的规则,就像上图提示那样,需要在命令行使用:
  • scrapy startproject 文件名(不为路径 只是个文件(项目)名称) 创建项目。然后创建过后,会发现该项目目录为下图:

  • 将项目中 【ttttt】文件夹打开后,为下图的目录 :

  • 下面进行创建爬虫文件,这里【注意我的路径】

  • 书写程序:【注意箭头指示】

  • 运行命令:

  • 运行结果(部分):

  • 测试结束,关于PyCharm进行编辑其实和这个道理类似,都是先创建Scrapy工程 再进行引入,就行了。也可以不用建立工程,直接使用 scrapy runspider  名字.py 进行直接做爬虫爬取。

猜你喜欢

转载自blog.csdn.net/qq_29750461/article/details/80378294