import requests
import re
import json
from requests.exceptions import RequestException
from multiprocessing import Pool # 多进程包的引入
def get_one_page(url, headers):
try:
response = requests.get(url, headers)
if response.status_code == 200:
return response.text
except RequestException:
return None
def parse_one_page(html):
pattern = re.compile('<dd>.*?<p class="name"><a.*?>(.*?)</a>.*?</p>.*?<p.*?class="star">(.*?)</p>.*?<p.*?class="releasetime">(.*?)</p>.*?</dd>',re.S)
items = re.findall(pattern,html)
#print(items)
for item in items:
yield {
'name':item[0],
'actor':item[1].strip()[3:],
'time':item[2].strip()[5:]
}
# 构造成一个字典
# Python strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。
# 注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。
def write_file(content):
with open('maoyan.txt','a',encoding='utf-8') as f:
f.write(json.dumps(content, ensure_ascii=False)+'\n') # 将字典类型转化成字符串类型
# json.dumps()函数的使用将字典类型的数据转化成字符串类型的数据
#
def main(offset):
url = 'http://maoyan.com/board/4?offset=' + str(offset) # 动态改变url
headers = {
'User - Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
html = get_one_page(url=url, headers=headers)
for item in parse_one_page(html):
print(item)
write_file(item)
if __name__ == '__main__':
for i in range(10):
main(i*10)
pool = Pool() # 创建进程池
pool.map(main, [i*10 for i in range(10)])
# 将数组中的每个元素提取出来当作函数的参数,创建一个个进程,放进进程池中
# 创建进程池
# pool = Pool()
# 第一个参数是函数,第二个参数是一个迭代器,将迭代器中的数字作为参数依次传入函数中
# pool.map(main, [i*10 for i in range(10)])
利用requests库和正则表达式爬取猫眼电影
猜你喜欢
转载自blog.csdn.net/qq_40605167/article/details/81332099
今日推荐
周排行