1. 必应今日美图
当使用bing搜索时,每天都会出现一副美图。
搜索找到bing今日美图http://bing.plmeizi.com/(这里收集了一年多的今日美图) 收集者:http://leil.plmeizi.com/
目前共47页
url格式按 http://bing.plmeizi.com/?page=*
点进去就是我们要的名称和名称
2. 开始编码
使用简单的Jsoup进行爬虫,很简单,很好理解。
HtmlUtil
GetPhoto
这个编码主要需要先分析html属性,按照属性取到我们需要的元素,元素值。
我是先拿到每个图的page页面url
然后到详情页面拿到图的url,图的名字截取。
然后将图保存到本地。
Mythread
RUN
采用多线程,开启多个线程同时爬取图片
执行 RUN
耗时76.962s 完成图片下载到本地。
成功