Python高级——GIL全局解释器锁问题

GIL全局解释器锁

  GIL全局解释器锁是cpython解释器内部的一把锁,和python中的lock锁不是一个层面。 GIL产生的背景:在cpython解释内部运行多个线程的时候,每个线程都需要解释器内部申请相应的全局资源,由于C语言本身比较底层造成CPython在管理所有全局资源的时候并不能应对所有线程同时的资源请求,因此为了防止资源竞争而发生错误,对所有线程申请全局资源增加了限制-全局解释器锁。所以Python中的多线程实质上是一个假的多线程,并不能完全利用多核CPU资源,但这和Python语言没有任何关系,是cpython解释器遗留的历史问题。
  每个进程内部,都有一把GIL锁,确保同一进程内同时只有一个线程在使用CPU。
  python使用多进程可利用多核的CPU资源。

线程释放GIL锁的情况:
(1)在进行IO操作等引起阻塞的操作时。

(2)python3内部计时器执行时间到阈值/python2内部计数器计数达到100。
所以,有IO操作时多线程爬取比单线程性能好,只是进行计算单线程效率高。

解决GIL锁问题的方法:
(1)换其他解释器

(2)用多进程代替多线程

(3)用C语言和python混合编写的方式。

猜你喜欢

转载自blog.csdn.net/zsh142537/article/details/82685251