在eclipse通过爬虫获取指定地区美团酒店的酒店名字

简单介绍下流程,通过访问美团连接,得到相应的数据,对数据进行处理即可

以北京的美团酒店为例http://hotel.meituan.com/beijing

通过f12查看到酒店的名字绑定的class是poi-title-wrapper

所以我们可以直接通过jsoup选择节点

	@Test
	public void testName11() throws Exception {
		Document document = Jsoup.connect("http://hotel.meituan.com/beijing").get();
		Elements select = document.select(".poi-title-wrapper");
		for (Element element : select) {
			System.out.println(element.text());
		}
	}

运行后得到结果

1齐源宾馆(北京南站店)
27天连锁酒店(北京南站地铁站店)
3昌浩商务酒店(北京南站店) 舒适型
4布丁酒店(北京国贸潘家园地铁站店)
5泉谷酒店 高档型
6暖窝北漂青年公寓
7青年之家酒店
8易佰连锁酒店(交大东路店)
9齐鑫宾馆(北京南站店)
10旅居酒店(北京和平里店) 高档型
11九十九连锁宾馆
12北京西柚旅舍(国展店)
137天连锁酒店(北京新街口地铁站店)
14速8酒店(北京潘家园华威南路店)
15中工大厦 高档型
16布丁酒店(北京国贸永安里地铁站店)
17逸旅阳光快捷酒店
18华通国际青年旅舍(三里屯店)
19青年酒店(西四店)(原金榜缘酒店)
20广州大厦 高档型

我们现在爬第二页的酒店名点击第二页发现网址没有发生跳转,判断使用的AJAX.因此我们需要把ajax中提交的网址提出去.

通过network我们发现提交的网址

Request URL:https://ihotel.meituan.com/hbsearch/HotelSearch?utm_medium=pc&version_name=999.9&cateId=20&attr_28=129&uuid=61E1B8AD1D61784182F0D300BC63428F3B0EA432DE4CAF30421A27E6D877DD10%401526390515608&cityId=1&offset=40&limit=20&startDay=20180515&endDay=20180515&q=&sort=defaults

仔细观看网址,发现使用了分页便签,点击网址进去是一个json字符串

现在我们的目标就变成了在json字符串中获取酒店的名字了

在下一篇日志中我讲怎么用eclipse通过json获取指定的数据

在eclipse通过爬虫获取指定地区美团酒店的酒店名字

猜你喜欢