昨天负责的一个项目突然爆“out of memory for query result”。
背景
项目的数据表是保存超过10m的文本数据,通过json方式保存进postgres中,上传一个13m的大文件处理过程中出错。
怀疑
1 .celery进程过多
一开始怀疑celery进程过多导致的内存不足引起,查了一个有46个celery进程,
改为5个worker,状况没得到改善。
2.postgres work_mem过小
接着环境postgres的work_mem配置过小,默认是4m,改大后照样无效果。
3.django进程问题
重新用runserver 运行,上传大文件,通过,也就是无django无关
4.uwsgi配置
查了google,将limit-as改为2046无效果,改为9999无效果。
尝试
经过上述实践,已经找到问题的根源,就是uwsgi进程内存过大后报错了,所以换gunicorn这个python服务器替换。
用gunicorn替换uwsgi,上传后出现timeout,看来是默认超时时间过短,改为300s,再上传大文件,完美通过。