Python中multiprocessing使用

1. 概述

multiprocessing是Python的一个库,用于在同一台计算机的不同CPU核之间并行执行代码。它通过使用进程(而不是线程)实现并行,因此可以避免Python中全局解释器锁(GIL)的限制。

multiprocessing库提供了一种类似于线程的API,但它是基于多个进程的。它使得开发者能够编写可以在不同的进程中运行的代码,并且这些进程之间可以通过管道或共享内存进行通信。

2. 使用方法

2.1 Process类

Process类是multiprocessing的核心类之一,用于创建和控制进程。它的构造函数有两个必须的参数——target和args。其中,target是一个函数或方法,表示要在新进程中执行的代码;args是一个元组或列表,表示传递给target函数的参数。

以一个简单的示例来说明Process类的使用方法:

import multiprocessing

import time

def worker(num):

    print('Worker %d starts working.' % num)

    time.sleep(3)

    print('Worker %d ends working.' % num)

if __name__ == '__main__':

    jobs = []

    for i in range(5):

        p = multiprocessing.Process(target=worker, args=(i,))

        jobs.append(p)

        p.start()

    for j in jobs:

        j.join()

在该示例中,我们定义了一个worker函数,模拟一个工作进程,每个工作进程都会执行一个类似于“忙等待”的操作(time.sleep(3)),并打印出工作进程编号。在主进程中,我们使用Process类创建5个工作进程对象,然后运行它们并等待所有工作进程结束(通过p.join()实现)。

2.2 Pool类

对于一组需要执行相同任务的进程,可以使用Pool类来批量创建和管理它们。Pool类提供了常用的方法,例如apply_async()、map()、imap_unordered()等,用于提交任务和获取结果。

下面是一个简单的示例:

import multiprocessing

import time

def worker(num):

    print('Worker %d starts working.' % num)

    time.sleep(3)

    print('Worker %d ends working.' % num)

    return num

if __name__ == '__main__':

    pool = multiprocessing.Pool(processes=5)

    results = pool.map(worker, range(5))

    pool.close()

    pool.join()

    print(results)

在该示例中,我们定义了一个worker函数,模拟一个工作进程,并返回进程编号。在主进程中,我们使用Pool类创建一个拥有5个进程的进程池(pool),然后使用map()方法提交五个任务,并等待所有任务执行完毕。最后,任务的结果会以一个列表的形式返回,并打印出来。

3. 注意事项

使用multiprocessing库时需要注意以下几点:

(1)由于各个进程之间的环境是独立的,所以它们之间无法共享变量,必须使用multiprocessing提供的队列、管道、共享内存等方式进行通信和数据共享。

(2)使用multiprocessing库时,需要注意多进程之间不能直接使用全局变量,这会导致数据错乱或无法共享。一般来说,可以将全局变量传递给进程或使用共享内存等方式进行数据传输。

(3)与多线程相比,多进程的启动和销毁时间较长,因此在使用时需要考虑进程创建和销毁的开销,以及进程间通信的开销。

(4)在使用多进程时,要注意避免死锁和竞争状态等并发编程的问题。可以使用锁、信号量等方式确保进程之间的同步和安全。

猜你喜欢

转载自blog.csdn.net/2201_75480526/article/details/129323278