协程的运行机制

协程的执行环境

你想要并发的执行同一类任务,且不想用多线程,那么协程是一个很好的解决方案.
协程是并发的,等同于共享上下文环境的多线程.

实现协程就是要实现多个任务的循环,任务一直跑,每到一个地方await一次,然后await返回,直到最终全部返回,主程序结束。

调用协程

协程不能直接运行,需要把协程加入到事件循环(loop)。asyncio.get_event_loop方法可以创建一个事件循环,然后使用run_until_complete将协程注册到事件循环,并启动事件循环。


协程的基本实现:首先要有 async -- await机制
                    task -- loop机制 (多个任务循环)
                    async def A():
                        await B()
                    async def B():
                        '非消耗任务'
                        '消耗任务'
将task任务注册到循环里,实现多程序并发.
执行由async封装的函数A(),在函数A中遇到await ,await是挂起命令,挂起当前,执行B(),执行完成后重新激活当前函数继续运行,返回。如果B()迟迟不回,程序不会死等,而是去你定义的任务循环中寻找另一个任务(如果有的话),如果没有循环任务,那就死等.直到有结果返回。
如上面的B()函数,在程序遇到await时会执行B()直到遇到消耗任务(需要等待结果),然后将它挂起,转而去任务循环里拿下一个任务.直到拿完所有的任务.就开始并发的执行所有的消耗任务,并等待结果.

关于task

协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete方法将协程包装成为了一个任务(task)对象。所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取协程的结果。

创建task后,task在加入事件循环之前是pending状态,当loop事件开始循环,所有pending状态的task都开始执行到await那一步(函数体内并非如此,),不管loop里是否调用

协程有别于子程序


协程,又称微线程,纤程。英文名Coroutine。

子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。

所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。

子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。比如子程序A、B:

def A():
    print('1',',')
    print ('2',',')
    print ('3',',')

def B():
    print ('x',',')
    print ('y',',')
    print ('z',',')
假设由协程执行,在执行A的过程中,可以随时中断,去执行B,B也可能在执行过程中中断再去执行A,结果可能是:

1,2,x,y,3,z

协程的优势


I/O为瓶颈的程序正是协程所擅长的:
多任务并发(非并行),每个任务在合适的时候挂起(发起I/O)和恢复(I/O结束).对于类似爬虫这种延时的IO操作,协程是个大利器,优点很多,他可以在一个阻塞发生时,挂起当前程序,跑去执行其他程序,把事件注册到循环中,实现多程序并发。

协程优势:
最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。

第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。

因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

猜你喜欢

转载自blog.csdn.net/weixin_40074627/article/details/80865402