爬取实战:
通过Request 和 正则表达式爬取猫眼电影TOP100电影的排名、名字、电影封面图片、主演、上映时间、猫眼评分,将爬取的内容写入文件中。
爬取思路:
1.爬取网页的源代码
2.对网页的源代码进行分析
3.找出要爬取的信息的正则表达式
4.通过正则表达式爬取网页信息
5.将爬取的信息数据格式化写入文件中
6.多线程爬取
爬取实现:
1.通过Requests库爬取网页源代码
def get_one_page(url): #添加头信息 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'} html = requests.get(url,headers = headers) try: if html.status_code == 200: return html.text return None except RequestException: print("请求出错") return None
2.通过网页的源代码进行分析发现要爬取的信息都在<dd>标签里
3.观察上面网页信息找出要爬取的信息的正则表达式
正则表达式为:
'<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>'
4.通过正则表达式提取源代码中的爬取信息
pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?' + 'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S) #re.S使.能匹配任意字符 data = pattern.findall(str(html))
5.将爬取的信息格式化写入文件中
数据格式化
for item in data: yield{ 'top':item[0], 'name':item[1], 'image_src':item[2], 'actor':item[3].strip()[3:], 'releasetime':item[4].strip()[5:], 'score':item[5] + item[6] }
写入文件中
#将提取得数据写人文件 def write_of_file(content): # 'a'保留原先的内容,在尾部写入,因为用的是for循环写入,如果用'w'写入只会保留最后一组的数据,或者早打开文件,写入完在关闭,encoding='utf-8'以utf-8编码 with open('result.txt','a',encoding='utf-8') as f: #ensure_ascii = False使中文正常输出 f.write(json.dumps(content,ensure_ascii = False) + '\n') f.close()
6.用多线程库进行多线程爬取
from multiprocessing import Pool # 多线程模块 #定义多线程 pool = Pool() pool.map(main,[i*10 for i in range(10)]) #pool.map函数第一个参数为运行爬取函数名,第二个参数为爬取函数传递的参数
完整代码:
import requests import re import json from multiprocessing import Pool #多线程模块 #获取网页源代码 def get_one_page(url): #添加头信息 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'} html = requests.get(url,headers = headers) if html.status_code == 200: return html.text return None #根据正则表达式提取信息 def parse_one_page(html): pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?' + 'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S) data = pattern.findall(str(html)) for item in data: yield{ 'top':item[0], 'name':item[1], 'image_src':item[2], 'actor':item[3].strip()[3:], 'releasetime':item[4].strip()[5:], 'score':item[5] + item[6] } #将提取得数据写人文件 def write_of_file(content): # 'a'保留原先的内容,在尾部写入,因为用的是for循环写入,如果用'w'写入只会保留最后一组的数据,或者早打开文件,写入完在关闭,encoding='utf-8'以utf-8编码 with open('result.txt','a',encoding='utf-8') as f: #ensure_ascii = False使中文正常输出 f.write(json.dumps(content,ensure_ascii = False) + '\n') f.close() #主函数 def main(offset): #要爬取的网址 url = "http://maoyan.com/board/4?offset=" + str(offset) html = get_one_page(url) for item in parse_one_page(html): print(item) write_of_file(item) if __name__ == '__main__': #定义多线程 pool = Pool() pool.map(main,[i*10 for i in range(10)])
收获:
了解到数据格式化,多线程multiprocessing模块,将中文正常写入文件中,熟练爬虫思路