5个浏览器窗口(5个线程),每小时3000个网页,理论上一台4C*8GB的台式机能达到每小时6-8000的网页(除掉带宽/对方防爬和对方服务器性能优越),对难搞的网站抓取性能还是不错的!
selenium爬取网页的性能问题
猜你喜欢
转载自shanming0088-163-com.iteye.com/blog/2186090
今日推荐
周排行