写一个多线程爬虫的时候,报错。
后来发现:
url_manage_proc = Process(spider.url_manage_proc, args=(urls,))
download_html_proc = Process(spider.download_html_proc)
parser_html_proc = Process(spider.parser_html_proc)
store_data_proc = Process(spider.store_data_proc)
改成这个就好了
url_manage_proc = Process(target=spider.url_manage_proc, args=(urls,))
download_html_proc = Process(target=spider.download_html_proc)
parser_html_proc = Process(target=spider.parser_html_proc)
store_data_proc = Process(target=spider.store_data_proc)