多进程的核心代码:
from multiprocessing import Pool #multiprocessing是Python自带的一个多进程模块,在此我们使用其Pool方法。 if __name__ == '__main__': pool = Pool(processes=2) pool.map_async(get_zhaopin,range(1,pages+1)) pool.close() pool.join()
实例化一个进程池,设置进程为2;
调用进程池的map_async()方法,接收一个函数(爬虫函数)和一个列表(url列表)