版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/sinat_34820292 https://blog.csdn.net/sinat_34820292/article/details/81269632
可以先看看集搜客gooseeker开源爬虫项目
里面使用了一个 Selenium库的东西,可以调用浏览器渲染页面,然后处理渲染后的页面
Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案,PhantomJS可以在后台实现页面的渲染,而不是调用浏览器完成