版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hujingshuang/article/details/78920566
通过 JAVA网络爬虫(一):初探 我们知道了大致流程和基本配置,接下来就开始着手了。
查看链家网
首先用Chrome打开链家网,自动会定位到你所在的城市,旁边有个二手房选项。
在二手房选项的位置按F12键或者点击右键->检查,在查看器中选择Elements,可以清楚的看到二手房的页面URL,这个URL是我们需要从HTML中提取的。
发现,二手房页面的URL是:https://cd.lianjia.com/ershoufang/,选择Network,刷新一下网页,在这个查看器可以看到很多请求响应信息。
在查看器中选择Elements,并将页面拉倒底部,在页面选择页面的地方按F12键或者点击右键->查看,这样我们可以知道整个城市的二手房的总页面数,例子中的页面数为100。这个页面总数是需要我们从HTML中解析并提取。
在这里,你可能已经注意到了,第二页的URL是:https://cd.lianjia.com/ershoufang/pg2/,以此类推,只要我们获取到总页面数,就可以得知所有页面的URL。当然,第一个页面的URL就是:https://cd.lianjia.com/ershoufang/pg1/
任意选择一个房源,然后通过查看器可以查看它的URL。每个页面的所有房源的URL都需要我们从该页面的HTML中去获取。
当获取到一个房源的URL,我们便可以进入到该房源页面,获取到更为详细的二手房信息。现在我们任意选择一个房源,进入到该二手房页面中,用红框框出的信息就是我们要获取的主要信息。
当然,如何获取这些详细信息,将在后面博客中逐一分析。
需要获取的信息
- 某城市二手房的URL
- 该城市二手房总页面数Total_Page
- 每个页面所展房源的URL
- 每个房源的详细信息
具体流程
经过上面的分析,我们可以总结一下整个从链家首页,到具体房源信息页面的过程。