一个简单粗暴的爬虫 - 必应今日美图

1. 必应今日美图

当使用bing搜索时,每天都会出现一副美图。

搜索找到bing今日美图http://bing.plmeizi.com/(这里收集了一年多的今日美图) 收集者:http://leil.plmeizi.com/

目前共47页

url格式按 http://bing.plmeizi.com/?page=*

 点进去就是我们要的名称和名称

2. 开始编码

使用简单的Jsoup进行爬虫,很简单,很好理解。

HtmlUtil

GetPhoto

这个编码主要需要先分析html属性,按照属性取到我们需要的元素,元素值。

我是先拿到每个图的page页面url

然后到详情页面拿到图的url,图的名字截取。

然后将图保存到本地。

Mythread

RUN

采用多线程,开启多个线程同时爬取图片

执行 RUN 

耗时76.962s 完成图片下载到本地。

成功

猜你喜欢

转载自blog.csdn.net/qq_40925239/article/details/88974262