(一)简介
首先我们得知道协程是啥?协程其实可以认为是比线程更小的执行单元。 为啥说他是一个执行单元,因为他自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
通俗的理解:协程可看成在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定
(二)区别
那么这个过程看起来比线程差不多。其实不然, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。但是协程有一个问题,就是系统并不感知,所以操作系统不会帮你做切换。 那么谁来帮你做切换?让需要执行的协程更多的获得CPU时间才是问题的关键。
目前的协程框架一般都是设计成 1:N 模式。所谓 1:N 就是一个线程作为一个容器里面放置多个协程。 那么谁来适时的切换这些协程?答案是协程自己主动让出CPU,也就是每个协程池里面有一个调度器, 这个调度器是被动调度的。意思就是他不会主动调度。而是当一个协程发现自己执行不下去了(比如异步等待网络的数据回来,但是当前还没有数据到), 这个时候就可以由这个协程通知调度器,这个时候执行到调度器的代码,调度器根据事先设计好的调度算法找到当前最需要CPU的协程。 切换这个协程的CPU上下文把CPU的运行权交个这个协程,直到这个协程出现执行不下去需要等等的情况,或者它调用主动让出CPU的API之类,触发下一次调度。
(三)优点
在IO密集型的程序中由于IO操作远远慢于CPU的操作,所以往往需要CPU去等IO操作。 同步IO下系统需要切换线程,让操作系统可以在IO过程中执行其他的东西。 这样虽然代码是符合人类的思维习惯但是由于大量的线程切换带来了大量的性能的浪费,尤其是IO密集型的程序。但是协程可以很好解决这个问题。比如 把一个IO操作 写成一个协程。当触发IO操作的时候就自动让出CPU给其他协程。要知道协程的切换很轻的。 协程通过这种对异步IO的封装 既保留了性能也保证了代码的容易编写和可读性。在高IO密集型的程序下很好。但是高CPU密集型的程序下没啥好处。
(四)简单实现
1 import time 2 3 def A(): 4 while True: 5 print("----A---") 6 yield 7 time.sleep(0.5) 8 9 def B(c): 10 while True: 11 print("----B---") 12 c.next() 13 time.sleep(0.5) 14 15 if __name__=='__main__': 16 a = A() 17 B(a) 18 19 20 >>>输出: 21 --B-- 22 --A-- 23 --B-- 24 --A-- 25 --B-- 26 --A-- 27 。。。省略。。。
(五)协程-greenlet版
为了更好使用协程来完成多任务,python中的greenlet模块对其封装,从而使得切换任务变的更加简单。
1 #coding=utf-8 2 3 from greenlet import greenlet 4 import time 5 6 def test1(): 7 while True: 8 print "---A--" 9 gr2.switch() 10 time.sleep(0.5) 11 12 def test2(): 13 while True: 14 print "---B--" 15 gr1.switch() 16 time.sleep(0.5) 17 18 gr1 = greenlet(test1) 19 gr2 = greenlet(test2) 20 21 #切换到gr1中运行 22 gr1.switch()
(六)协程-gevent版
greenlet已经实现了协程,但是这个还的人工切换,是不是觉得太麻烦了,不要捉急,python还有一个比greenlet更强大的并且能够自动切换任务的模块 gevent
其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。
1 import sys 2 import time 3 import gevent 4 5 from gevent import socket,monkey 6 monkey.patch_all() 7 8 def handle_request(conn): 9 while True: 10 data = conn.recv(1024) 11 if not data: 12 conn.close() 13 break 14 print("recv:", data) 15 conn.send(data) 16 17 18 def server(port): 19 s = socket.socket() 20 s.bind(('', port)) 21 s.listen(5) 22 while True: 23 cli, addr = s.accept() 24 gevent.spawn(handle_request, cli) 25 26 if __name__ == '__main__': 27 server(7788)