前言
本文是该专栏的第45篇，后面会持续分享python爬虫干货知识，记得关注。
在面对海量数据的采集需求时，使用分布式爬虫是非常有必要的。继上一篇，详细介绍主从分布式爬虫架构，对主从分布式相关知识感兴趣的同学，可往前翻阅。而本文，笔者再单独来详细介绍分布式爬虫架构的另一个——对等分布式。
对等分布式是指分布式系统中的所有工作节点之间没有主从之分，虽然它们在相同的环境下具有相同的功能，但是既没有控制中心主节点，也没有被调度的子节点，组成分布式系统的所有节点都是对等的。
下面跟着笔者直接往下探索，对等分布式爬虫架构的详细知识点，以及主从分布式和对等分布式两者之间的优缺点。
正文
对等分布式，在爬虫架构中的具体体现是每个对等节点根据特定规则主动从共享任务队列中，取出自己负责管理的采集任务，然后开始负责各自的采集任务，每个对等节点之间互不干扰，如下图所示：