获取泉州热门景点排名及点评数量
- 打开马蜂窝泉州景点网页
http://www.mafengwo.cn/search/q.php?q=%E6%B3%89%E5%B7%9E&t=&seid=&mxid=&mid=&mname=&kt=1
- 右键打开网页源代码
- 编写代码
设置请求头,添加cookies,解决网站的反爬
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
'Referer': 'http://www.mafengwo.cn/search/q.php?q=%E6%B3%89%E5%B7%9E&t=&seid=&mxid=&mid=&mname=&kt=1',
}
def get_data():
txt=requests.get('http://www.mafengwo.cn/search/q.php?q=%E6%B3%89%E5%B7%9E&t=&seid=&mxid=&mid=&mname=&kt=1',headers=headers).text
html=etree.HTML(txt)
name=html.xpath('//div[@class="content top_pois-list"]//p[@class="title"]/text()')
votenum=html.xpath('//div[@class="content top_pois-list"]//p[@class="subtitle"]//font[@color="#474747"]/text()')
f = open('fp.text', 'a+', encoding='utf-8')
f.write('排名 景区名称 蜂评数 '+‘\n’)
for i in range(8):
f.write(str(i+1)+' '+name[i]+' '+votenum[i]+‘\n’)
print(i+1,name[i],votenum[i])
if __name__ == '__main__':
get_data()
-
- 输出结果
2. 网页图
3.
1. 输出结果
2. 网页图