版权声明:小佳 https://blog.csdn.net/qq_37870901/article/details/82429946
1、获取数据源
以智联招聘官网为例
从智联官网首页中通过查看源码获取其数据源,通过okhttp获得数据源。
(kHttp是一个优秀的网络请求框架)
2、将网络数据源转换为本地数据
通过json将网络数据转化为本地的数据
(json是一种轻量级的数据交换格式)
3、建立数据库
通过MySQL建立数据库,然后再数据库中建立相关表格,用以存放挖掘的数据。。
4、将数据存入数据库
通过连接池连接数据库,再通过相关sql语句将挖掘到的数据存入到数据库中。
okhttp连接有两种方式,一个是同步一个是异步。这里用到的是同步。
本次数据挖掘用到了C3p0数据库连接池,连接池减少了连接创建时间,加快了数据存入数据库的效率。
使用批处理向数据库添加:
c3po连接池的配置:
最终采集数据的效果:
源码:
链接:https://pan.baidu.com/s/1BRdK1KeB3ZU-h3mIs1wrng 密码:pt97