版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qzqanzc/article/details/85705720
最近的项目在做爬虫,ip代理一直是一个很让人头疼的问题,看了python 开源版的爬虫代理池,修改起来也比较吃力。本着自己动手丰衣足食的理念还是用java 写个IP代理池的项目吧,解决IP代理的问题。源码地址https://github.com/zhiquanqiao/IPProxyPool。
需要手动维护被爬网站的信息和代理网站信息,维护好以后就可以通过接口获取对应的被爬网站的IP代理信息。
维护网站信息的页面(本人后台,不写前端,前端比较丑请见谅)
维护ip代理网站信息
3.根据目标网站查询代理IP