进程的定义
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。
在早期面向进程设计的计算机结构中,进程是程序的基本执行实体。
在当代面向线程设计的计算机结构中,进程是线程的容器。
程序是指令、数据及其组织形式的描述,进程是程序的实体。
进程优点:
稳定性高,一个进程崩溃了,不会影响其他进程。
缺点:
创建进程开销非常大。
操作系统能同时运行进程数目有限。
进程池的定义
当需要创建的子进程不多时,可以直接利用multiprocessing中的Process动态生成多个进程。
但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求。
但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池子中有进程结束,才会创建新的进程来执行。
示例
非阻塞
进程池和主进程是同时被释放结束的。
#自定义进程
import os
from multiprocessing import Pool
import time
from random import random
def task(task_name):
print('task begin!!!',task_name)
start = time.time()
time.sleep(random()*2)
end=time.time()
return ('task finish!!!, {} time:{} id:{}'.format(task_name,end - start,os.getpid()))
def callback_func(n):
print(n)
if __name__ == '__main__':
pool = Pool(3)
tasks=['task1','task2','task3','task4','task5']
for task1 in tasks:
#往进程池添加任务
#参数 任务函数名称 往任务函数传参 对任务函数执行完返回的值进行回调
pool.apply_async(task,args=(task1,),callback=callback_func)
#进程池停止接收新的任务
pool.close()
#让进程池等待所有任务完成后,对其进行清理
pool.join()
print('end...........')
由上图可知
进程数目始终保持为设定的3个,只有当原有进程完成任务后才会开启新的任务。
由于使用进程开销很大,合理使用进程池可以达到进程复用,节省资源的效果。
阻塞式
每运行一个任务就添加一个任务,前一个任务没完成,后一个任务不能加进来。
阻塞的是没有回调函数的。
#将上面代码进行替换
#非阻塞
#pool.apply_async(task,args=(task1,),callback=callback_func)
#阻塞
pool.apply(task,args=(task1,))