该项目用Requests和re正则表达式爬取猫眼电影前一百名
要注意几点
1 requests.get 要加入header 不然会被封的
2 注意正则表达式的运用
3把爬下的数据按字典格式存放
4观察每一页的url得出规律
5引入re requests json包还有from requests.exceptions import RequestException
1
若访问得到200则得到整个网站的内容,返回text。否则返回None
def get_one_page(url):
headers={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
try:
response=requests.get(url,headers=headers)
if response.status_code==200:
return response.text
return None
except RequestException:
return None
2
用正则表达式解释网站内容,得到自己想要的内容
def parse_one_page(html):
patter=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
+'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
+'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
items=re.findall(patter,html)
for item in items:
yield{
'index':item[0],
'image':item[1],
'title':item[2],
'acotr':item[3].strip()[3:],
'time': item[4].strip()[5:],
'score':item[5]+item[6]
}
return items
3
把得到的内容写入文件
要加encoding=‘utf-8’,不然中文会变成其它字符
注意区分dumps和dump
dumps是将dict转化成str格式,loads是将str转化成dict格式。
dump和load也是类似的功能,只是与文件操作结合起来了。
def write_to_file(content):
with open('result.txt','a',encoding='utf-8')as f:
f.write(json.dumps(content,ensure_ascii=False)+'\n')
f.close()
4
主函数执行程序
观察每一页的url的得出规律。
if __name__ == '__main__':
for offset in range(10):
url='https://maoyan.com/board/4?offset='+str(offset*10)
html=get_one_page(url)
for item in parse_one_page(html):
print(item)
write_to_file(item)