风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新内容如下:
1 修复测试接口中传入参数异常时不能正常工作的bug。
2 优化多任务多线程时的同步机制,能更加灵活扩展
3 优化任务状态监控机制
4 优化任务停止逻辑,停止逻辑更加合理
5 其他一些bug优化
风铃虫平台效果演示
1 配置基本信息
2 配置链接爬取信息
3 配置站点信息
4 提取项配置
5 属性提取配置
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次更新内容如下:
1 修复测试接口中传入参数异常时不能正常工作的bug。
2 优化多任务多线程时的同步机制,能更加灵活扩展
3 优化任务状态监控机制
4 优化任务停止逻辑,停止逻辑更加合理
5 其他一些bug优化
风铃虫平台效果演示
1 配置基本信息
2 配置链接爬取信息
3 配置站点信息
4 提取项配置
5 属性提取配置