爬虫--selenuim和phantonJs处理网页动态加载数据的爬取

1、谷歌浏览器的使用

下载谷歌浏览器

安装谷歌访问助手

终于用上谷歌浏览器了。。。。。激动

问题:处理页面动态加载数据的爬取

-1.selenium
-2.phantomJs

1.selenium

二.selenium

什么是selenium?
是Python的一个第三方库,对外提供的接口可以操作浏览器,然后让浏览器完成自动化的操作。  

环境搭建

安装selenum:pip install selenium

获取某一款浏览器的驱动程序(以谷歌浏览器为例)

谷歌浏览器驱动下载地址:http://chromedriver.storage.googleapis.com/index.html

下载的驱动程序必须和浏览器的版本统一,大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应

下载好后选择相应版本解压后粘贴到项目文件夹下

 把谷歌浏览器设置成默认的浏览器

猜你喜欢

转载自www.cnblogs.com/foremostxl/p/10072122.html