通过死循环来测试python中线程的效率问题与GIL的关系
环境准备:
htop(用来查看cpu使用率)
VMware 11+ Ubuntu14.04
条件:
对ubuntu默认cpu使用率不计(大概3%)
- 在单核虚拟机下执行单线程的死循环
(主线程死循环)
while True:
pass
cpu使用率:100%
2. 在单核虚拟机中,执行双线程的死循环
(主线程和子线程都执行死循环)
from threading import Thread
# 定义一个死循环方法
def loop():
while True:
pass
t = Thread(target=loop)
t.start()
while True:
pass
cpu使用率:100%
3.在双核虚拟机中,执行双线程的死循环
(主线程和子线程都执行死循环)
from threading import Thread
# 定义一个死循环方法
def loop():
while True:
pass
t = Thread(target=loop)
t.start()
while True:
pass
cpu1使用率:50%
cpu2使用率:50%
4.在双核的虚拟机中,执行双线程的死循环
(主进程和子进程都执行死循环)
from multiprocessing import Process
def loop():
while True:
pass
p = Process(target=loop)
p.start()
loop()
cpu1使用率:100%
cpu2使用率:100%
通过上面几种情况,可以发现:
1.单核情况下,GIL对线程的效率无影响
2.多核情况下,GIL对线程的效率影响效果明显
3.多核情况下,进程比线程对cpu使用更充分
为了在python中,解决多任务程序的效率问题,经过以上测试,得出结论:尽量使用多进程,但是,在进程中的通信是较为麻烦的。
被称之为“胶水语言”的python自然有更好的办法:使用c来重写线程所需要的功能。
至此,我们将死循环的代码用c来实现:
deadloop.c
扫描二维码关注公众号,回复:
11384090 查看本文章
void DeadLoop()
{
while(1)
{
;
}
}
将其转换为库文件:
gcc deadloop.c -shared -o libdeadloop.so
在python代码中引用它:
from threading import Thread
import ctypes
# 加载库
deadloop_lib = ctypes.cdll.LoadLibrary('./libdeadloop.so')
DeadLoop = deadloop_lib.DeadLoop
t = Thread(target=DeadLoop)
t.start()
DeadLoop()
可以发现:
cpu1的占用率:100%
cpu2的占用率:100%
在用c重写过循环之后,整个程序的效率提升。