采用selenium模拟浏览器抓取天猫红酒销售和价格数据,主要解决了以下几个问题
1、采用selenium时爬虫效率问题,这里禁止了加载图片和加载javascript,代码如下
# 获取浏览器驱动(禁止加载图片和javascript)
options = webdriver.ChromeOptions()
pref = {'profile.default_content_setting_values': {'images': 2, 'javascript': 2}}
options.add_experimental_option('prefs', pref)
browser = webdriver.Chrome(chrome_options=options)
browser_wait = WebDriverWait(browser, 10)
2、BeautifulSoup解析网页
3、写入本地数据库
采用自己封装的mysqlhelper类,直接写入本地mysql数据库。
未解决的问题:
1、未解决商品详情页的评论数据抓取,未解决响应码302
2、自己搭建的免费代理池质量不高,反扒效率不好
3、写入mysql效率很差,原因暂时未知