需要知道知识:
- 全局变量:
子进程可以使用,但是不能改变主进程的全局变量,
函数可以使用,但是不能修改全局变量。 - 内存:
列表append会使内存一直增加
类中的进程函数一定要是静态,否则会每一个进程都会继承类的数据,导致内存爆掉
1. 通俗易懂的理解
1.1 不需要知道GIL是什么
GIL只需要记住他是针对python 多线程来讲的,python 多线程其实没什么大用,并非CPU的并行,原因就是因为GIL机制,这个机制导致python 多线程实际上只是CPU在多个线程之间来回切换。如果当某个线程等待时间大于线程来回切换的时间,那么其实时间上是有收益的。GIL只允许一个进程中CPU只执行一个线程。
1.2 多线程
上面已经说过了,其实多线程可能大多数用于某个线程处理需要等待比较长时间,而又不想浪费时间。比如线程A在读取大文件,而不想浪费等待读取文件的时间,就可以用多线程,自动切换到线程B上处理其他事情。这些都是python多线程自己完成的。
1.3 多进程
python的多进程才是真正的CPU并行执行。之间的关系。一个程序可以起多个进程,一个进程又可以起多个线程。
2. 多线程代码
from threading import Thread
# 创建多线程
t1 = Thread(target=func1, args=(q1,...))
t2 = Thread(target=func2, args=(q2, ...))
...
# 启动多线程
t1.start()
t2.start()
...
# 阻塞
t1.join()
t2.join()
...
3. 多进程代码
from multiprocessing import Pool, Manager
...
# 创建进程池
pool = Pool(processes=thread_nums)
# 异步并行
pool.apply_async(func1, args=(q1, ...))
pool.apply_async(func2, args=(q2, ...))
...
# 关闭,不在接受新任务
pool.close()
# 阻塞,等待子进程结束
pool.join()
...