scrapy结构介绍

1.spider
抓取页面并获取对应的dom信息，将返回的信息，交给指定的pipeline进行处理
2.item
定义spider抓取的内容，非必须项
3.pipeline
处理抓取返回的信息，例如加入数据库获取存入文件中。

spider的介绍

spider的名字必须唯一，但是使用的类名就无所谓了
例如ip_spider的一些定义
'''
class BiqugeSpider(scrapy.Spider):
    name = 'ip'
    allowed_domains = ['89ip.cn']                                                             
    start_urls = [
    'http://www.89ip.cn/',
    ]
    '''
另外在spider中返回信息给pipeline需要使用return，否则pipeline接受不到信息

其次就是如果在解析函数parse中需要继续解析下一个url，使用

‘’’
yield Request(url,meta=yourmeta,callback=self.parse_yourfunc)
‘’’
参数介绍，
url为指定的下一个url
meta为传递给callback的一些参数，在parse_yourfunc中使用reponse.meta可以获取到对应的内容
callback 为解析指定的url的函数

在最后的解析函数中，一定要返回信息，即使用return info，info为你要交给pipeline的信息

如果使用了yield Request，是不能在下方使用return的，因为会报错，至于这个yield，是一个生成器
我的理解是调用callback处理下一个url，逻辑并没有结束，所以不能在下方使用return
当然在if中使用yield，是可以在elif或者else中使用return的

item非必须项，介绍如下

spider中返回的信息，在item中定义一下结构，在spider中引入，使用这个结构
但是在我的实际操作中，发现不定义item是完全可以的
并且，返回的如果不是python的集合，是列表的话，会把列表的每一项，单独提交给pipeline进行处理，具体看我的parse_book解析函数的return

pipeline介绍

将spider返回的信息进行处理，比如存入数据库或者csv等格式的文件中，或者redis，memcache中，当然也可以同时进行多个操作

scrapyd的介绍

这个使用pip install scrapyd进行python包安装
这个实现了爬虫的执行与发布，介绍如下:
http://www.scrapyd.cn/jiaocheng/150.html
https://blog.csdn.net/dream8062/article/details/78875722
https://blog.csdn.net/baidu_32542573/article/details/80793140
https://www.cnblogs.com/zhongtang/p/5634545.html
使用这个可以实现分布式爬虫等操作，当然不使用分布式爬虫也可以用这个

数据库的一些介绍

mysql有两个连接包一个mysqldb，一个是pymysql，我使用的是pymysql，因为mysqldb有兼容性问题，在3.0+版本以上好像不支持

1.如果数据库压力比较大，最好是使用twisted异步框架处理，同样需要安装，安装命令请百度(实在是一时想不起来)，具体实现的话，搜索twisted mysql之类的。

这个twisted也可以处理mongo等数据库

2.压力不大的话，就使用同步的方式，那些步骤就不用我说了

3.另外就是对于数据的处理

3.1 当时我插入小说章节的时候，因为使用的是异步方式，所以不确定插入的章节顺序，如果不设置延时时间什么的话，并发其实是蛮大的
3.2 因为我spider返回的信息包含了，章节的信息，作者的信息，书籍的信息。
3.3 执行的逻辑是先判断书籍是否存在，不存在执行插入，作者信息也同样。
3.4 但是因为并发问题的存在，(因为使用的异步方式，并且没使用延时时间)，所以书籍和作者有很多的重复记录，章节的话，因为每次都是不一样的信息，所以不会重复。
3.5 为了处理这个问题，使用的是redis的队列进行排除重复，在pipeline中处理信息之前，使用redis 的incr对应的key，因为incr操作的话，如果是key不存在会设置为指定的初始值，并返回对应的内容。
3.6 因为redis是单线程处理的原子性操作，所以并发问题得以处理

数据获取之爬虫_1