爬取的是-81中文网的wldf
代码到这里去找:https://gitee.com/caizhw3/reptiles__climbing_novels/tree/master
大概就是使用scrapy写了一个简单的爬取小说的爬虫,没什么太多的技术含量
内容会在项目的这里,使用txt保存
通过修改start_url可以爬取其他的小说内容,但是要求有相同的HTML结构
使用pycharm打开项目,转到main()文件,然后运行即可,
爬取的不是特别理想的结果如下:
爬取的是-81中文网的wldf
代码到这里去找:https://gitee.com/caizhw3/reptiles__climbing_novels/tree/master
大概就是使用scrapy写了一个简单的爬取小说的爬虫,没什么太多的技术含量
内容会在项目的这里,使用txt保存
通过修改start_url可以爬取其他的小说内容,但是要求有相同的HTML结构
使用pycharm打开项目,转到main()文件,然后运行即可,
爬取的不是特别理想的结果如下: