python 队列

一、队列介绍

　　定义：队列是一种特殊的线性表，是一种先进先出（FIFO）的数据结构。

　　用途：用于线程之间或进程之间的数据共享。

　　队列的五种基本操作：

初始化队列
入队
出队
判断队列是否为空
判断队列是否为满

　　python内置有四种队列：

先进先出队列 Queue.Queue
先进后出队列 Queue.LifoQueue
优先级队列 Queue.ProorityQueue
双端队列 collections.deque

二、使用

　　Queue封装了先进先出队列、先进后出队列、优先级队里以及队列为空和满的异常。

# Queue模块允许导入的属性、方法、类
>>> import Queue
>>> Queue.__all__
['Empty', 'Full', 'Queue', 'PriorityQueue', 'LifoQueue']

# 源码注释摘抄
# 非阻塞出队的Empty异常抛出：队列当前为空，无数据出队
class Empty(Exception):
    "Exception raised by Queue.get(block=0)/get_nowait()."
    pass

# 非阻塞入队的Full异常抛出：队列当前已满，不可再入队数据
class Full(Exception):
    "Exception raised by Queue.put(block=0)/put_nowait()."
    pass

# 初始化时先进先出队列时，通过指定maxsize指定队列大小，当maxsize小于0时为无限制大小队列
class Queue:
    """Create a queue object with a given maximum size.
    If maxsize is <= 0, the queue size is infinite.
    """
# 先进后出队列，初始化时同上
class LifoQueue(Queue):
    '''Variant of Queue that retrieves most recently added entries first.'''

# 优先级队列，初始化同上，优先级小的先出队列，以元组(优先级，数据)的格式入队
# 如入队为pque.put((priority, data))，出队为pque.get()[1]（priority越小的）
class PriorityQueue(Queue):
    '''Variant of Queue that retrieves open entries in priority order (lowest first).
    Entries are typically tuples of the form:  (priority number, data).
    '''

　　三种队列的通用用法：

que = Queue.Queue(maxsize=xx) or Queue.Lifoqueue(maxsize=xx) or Queue.Priorityqueue(maxsize=xx)，实例化xx长度的队列。不指定maxsize时，默认队列无限长
que.get(block=True, timeout=xx) xx秒阻塞出队，超过xx秒无数据出队则抛出Queue.Empty异常。que.get()，相当于que.get(block=True, timeout=None)，默认阻塞出队，且阻塞时间无限长
que.get_nowait() 相当于que.get(block=False, timeout=None) 非阻塞即刻出队，当队里为空时抛出Queue.Empty异常
que.put(item, block=True, timeout=xx) xx秒阻塞入队，超过xx秒数据无法入队则抛出Queue.Full异常。que.put(item)，相当于为que.put(item, block=True, timeout=None), 默认阻塞入队，且阻塞时间无限长
que.put_nowait(item) 相当于que.put(item, block=False, timeout=None) 非阻塞即刻入队，当队里已满时抛出Queue.Full异常
que.empty() 判断队列是否为空，为空返回True
que.full() 判断队列是否已满，已满返回True
que.qsize() 获取当前队列的长度
que.join() 阻塞队列直到所有入队的数据都完成出队
que.task_done() 告诉其它阻塞获取数据的线程队列已被当前队列用完

　　collections.deque用法：

 1 # 通过端点优化访问的有序集合
 2 class deque(object):
 3     """
 4     deque([iterable[, maxlen]]) --> deque object
 5     Build an ordered collection with optimized access from its endpoints.
 6     """
 7     # 初始化，可指定初始的迭代对象（初始数据）、长度
 8     def __init__(self, iterable=(), maxlen=None): # known case of _collections.deque.__init__
 9         """
10         deque([iterable[, maxlen]]) --> deque object
11         Build an ordered collection with optimized access from its endpoints.
12         """
13         pass

dque = collections.deque(iter_obj, maxlen=len) 实例化初始数据为iter_obj、长度为len的双端队列
dque.append(item) 右侧入队一条数据
dque.appendleft(item) 左侧入队一条数据
dque.extent(item) or deque.exten(iter_obj) 右侧入队一条或多条数据
dque.extenleft(item) or deque.exten(iter_obj) 左侧入队一条或多条数据
dque.pop(item) 右侧出队一条数据
dque.popleft(item) 左侧出队一条数据
dque.remove(item) 删除某条数据
dque.clear() 清空双端队列
dque.count() 计算双端队列的长度
dque.reverse() 将双端队列左右换序
dque.rotate() 将双端队列变变成可迭代对象

三、Queue.Queue、multiprocessing.Queue与multiprocessing.Manager.Queue()

Queue.Queue() 主要用于多线程之间通信。Queue.Queue()实例化对象必须从外部（线程的主进程）传入线程；线程自己的Queue.Queue() 对象，主进程和其它线程都不可访问；Queue.Queue() 不可用于多进程
multiprocessing.Queue() 主要用于多进程之间的通信。multiprocessing.Queue()实例化对象必须从外部（线程的主进程）传入线程；子进程自己的multiprocessing.Queue()对象，其它子进程和主进程都不可访问
multiprocessing.Manager().Queue() 自己的multiprocessing.Manager().Queue()对象，主进程可以访问，同级线程/进程不可访问

　　所以，Queue.Queue()为多线程安全队列，multiprocessing.Queue()为多进程安全队列，multiprocessing.Manager().Queue() 为将自己队列属性共享给主进程访问的队列

Queue.Queue()在主进程中实例化（初始化），所有传入queue实例的子线程共同使用
multiprocessing.Queue() 在主进程中实例化（初始化），所有传入queue实例的子进程共同使用
multiprocessing.Manager.Queue()在子线程中实例化（初始化）时，主进程可以直接访问，其它线程不可访问；multiprocessing.Managerr.Queue()在子进程中实例化（初始化）时，主进程可以直接访问，其它子进程不可访问

猜你喜欢