一、背景
- IDE:spyder
- 使用 selenium + webdriver 爬取ajax数据
- 脚本里有for循环(一万次)
- 每次循环爬取一条数据(约几十 ~ 几百B的大小)
- 每次循环存进一条数据
二、解决方法(打开资源管理器观察)
- 在循环中定时关闭webdriver:driver.quit(),浏览器窗口关闭后再重开,webdriver占用的cpu和内存能被释放。
- 然后发现开了spyder后,会有一个python进程,这个进程占用的内存也会不断飙升,所以就关了spyder,直接用cmd+R打开命令框,然后用python指令直接运行py文件
- 问题解决啦。
- 仅供参考。