进程池和线程池可以避免进程和线程的浪费,提高效率
ps:py2中进程池和线程池需要自己写,py3以后有相应的模块我们直接引入就行
1.进程池
from concurrent.futures import ThreadPoolExecutor
import threading
import time
thread_pool = ThreadPoolExecutor(5) #创建一个5个有5个线程的线程池
def task(arg):
print(threading.current_thread(),arg)
time.sleep(2)
def run():
for i in range(10):
thread_pool.submit(task,arg)
2.进程池
from concurrent.futures import ProcessPoolExecutor
import time
import multiprocessing
process_pool = ProcessPoolExecutor(5) #创建一个有5个进程的进程池
def task(arg):
print(multiprocessing.current_process(),arg)
time.sleep(2)
def run():
for i in range(10):
process_pool.submit(task,i)
if __name__ == '__main__':
run()
进/线程池中的进/线程不是越多越好,进程池中进程的个数与cpu的内核有关,线程池中线程的个数与逻辑处理器的个数有关,根据不同的cpu去设置进/线程池中进/线程的个数,更好的利用cpu
最后啰嗦一下内核和逻辑处理器:
查看方式:任务管理器—>性能
内核是cpu的物理核心,利用intel的多线程技术可以将内核在软件层面上变成两个逻辑处理器(线程),但是工作的核心还是内核,
内核决定进程池中进程的个数,逻辑处理器决定线程池中线程的个数