GIL对线程效率的影响

通过死循环来测试python中线程的效率问题与GIL的关系

环境准备
htop(用来查看cpu使用率)
VMware 11+ Ubuntu14.04

条件
对ubuntu默认cpu使用率不计(大概3%)

  1. 在单核虚拟机下执行单线程的死循环
    (主线程死循环)
while True:
    pass

在单核虚拟机中,执行单线程的死循环
cpu使用率:100%
2. 在单核虚拟机中,执行双线程的死循环
(主线程和子线程都执行死循环)

from threading import Thread
# 定义一个死循环方法
def loop():
    while True:
        pass
t = Thread(target=loop)
t.start()
while True:
    pass

在单核虚拟机中,执行双线程的死循环
cpu使用率:100%

3.在双核虚拟机中,执行双线程的死循环
(主线程和子线程都执行死循环)

from threading import Thread
# 定义一个死循环方法
def loop():
    while True:
        pass
t = Thread(target=loop)
t.start()
while True:
    pass

在双核虚拟机中,执行双线程的死循环
cpu1使用率:50%
cpu2使用率:50%
4.在双核的虚拟机中,执行双线程的死循环
(主进程和子进程都执行死循环)

from multiprocessing import Process
def loop():
    while True:
        pass

p = Process(target=loop)
p.start()
loop()

在双核的虚拟机中,执行双线程的死循环
cpu1使用率:100%
cpu2使用率:100%

通过上面几种情况,可以发现
1.单核情况下,GIL对线程的效率无影响
2.多核情况下,GIL对线程的效率影响效果明显
3.多核情况下,进程比线程对cpu使用更充分

为了在python中,解决多任务程序的效率问题,经过以上测试,得出结论:尽量使用多进程,但是,在进程中的通信是较为麻烦的。

被称之为“胶水语言”的python自然有更好的办法:使用c来重写线程所需要的功能。

至此,我们将死循环的代码用c来实现:
deadloop.c

扫描二维码关注公众号,回复: 11384090 查看本文章
void DeadLoop()
    {
        while(1)
        {
            ;
        } 
    }

将其转换为库文件:

gcc deadloop.c -shared -o libdeadloop.so

在python代码中引用它:

from threading import Thread
import ctypes

# 加载库
deadloop_lib = ctypes.cdll.LoadLibrary('./libdeadloop.so')

DeadLoop = deadloop_lib.DeadLoop
t = Thread(target=DeadLoop)
t.start()

DeadLoop()

这里写图片描述
可以发现:
cpu1的占用率:100%
cpu2的占用率:100%
在用c重写过循环之后,整个程序的效率提升。

猜你喜欢

转载自blog.csdn.net/lik_lik/article/details/77429233