【爬虫】之 反爬与反反爬
其他
2020-09-18 09:58:57
阅读次数: 0
常见反爬技术
- 1.数据头Headers “User-Agent“反爬虫机制解析，用来判断是否是浏览器访问。
- 2.根据IP访问频率来封禁IP。
- 3.访问次数过多，弹出验证码、拼图等验证方式。
- 4.动态返回数据（ajax、json）。
- 5.在响应数据页面之前，先返回一段带有JavaScript 代码的页面，用于验证访问者有无 JavaScript 的执行环境，以确定使用的是不是浏览器。
- 6.要求必须登录账号才能访问，并且登录时间超限自动登出，或者进行封号处理。
- 7.限制API访问，或者限制API访问次数。
- 8.蜜罐：检测到是爬虫后，返回虚假信息。
- 9.动态生成url，例如：动态生成key值或timestamp或sign。
反反爬技术
- 1.请求页面时加上headers数据，并且最好使用多个userAgent。
- 2.使用IP代理，设置访问频率。
- 3.python+tesseract 验证码识别库模拟训练，或使用类似 tor 匿名中间件（广度遍历IP）
- 4.用 Firebug 或者 HttpFox 对网络请求进行分析。
- 5.采用 selenium+phantomJS 框架的方式进行爬取。
- 6.使用webdriver控制浏览器进行数据采集。
转载自blog.csdn.net/Aibiabcheng/article/details/105759756