遇到比较尴尬的项目是难免的,质量真是乱的一批,对于redis的使用也是乱用,那么就会有一个问题,内存撑不住怎么办?
不是高可用,只有一个裸redis(高可用方案下次再说)
目录
分析步骤
进入redis,查看内存使用情况
redis -a 密码
info memory
服务器分配了5G内存,maxmemory为5G,可用4.66G,发生OOM的时候已经全部用完;详细分析可以专门问下度娘
OOM紧急解决方案:
提高最大内存,config set maxmemory xxx
设置内存淘汰策略:我设置为allkeys-lru
Redis5.0定义了几种策略用来处理这种情况:
(1)volatile-lru:从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。
(2)volatile-ttl:从已设置过期时间的数据集中挑选将要过期的数据淘汰。
(3)volatile-random:从已设置过期时间的数据集中任意选择数据淘汰。
(4)volatile-lfu:从已设置过期时间的数据集挑选使用频率最低的数据淘汰。
(5)allkeys-lru:从数据集中挑选最近最少使用的数据淘汰
(6)allkeys-lfu:从数据集中挑选使用频率最低的数据淘汰。
(7)allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
(8) no-enviction(驱逐):禁止驱逐数据,这也是默认策略。意思是当内存不足以容纳新入数据时,新写入操作就会报错,请求可以继续进行,线上任务也不能持续进行,采用no-enviction策略可以保证数据不被丢失。
这八种大体上可以分为4中,lru、lfu、random、ttl。
当使用volatile-lru、volatile-random、volatile-ttl这三种策略时,如果没有key可以被淘汰,则和noeviction一样返回错误
但是这只是临时方案,需要知道根本原因是什么
问题:为什么5G还不够用?肯定是有大key,或者使用过多,没有设置过期时间
好了,1. 找出大key,2. 减少没有必要的缓存,3. 必须设置过期时间
如何找大key
网上搜了半天有用工具,有用python,有用命令的;感兴趣大家可以看下这篇文章还可以:https://www.cnblogs.com/yqzc/p/12425533.html
这里我介绍一下用rdbtools分析感觉还蛮方便的
安装rdbtools
pip install rdbtools 安装
如果没有安装pip则安装pip,教程请看:https://blog.csdn.net/Goligory/article/details/106033972
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
python3 setup.py install
安装如下
使用 redis-rdb-tools 生成内存快照:
rdb -c memory dump.rdb > memory.csv
这时候可能找不到dump.rdb
解决办法:
登录redis
命令:save
命令(找到安装目录):config get dir
退出,cd到安装目录就看到dump.rdb了
在有dump.rdb目录下执行:rdb -c memory dump.rdb > memory.csv 即可,csv文件就在当前文件夹,可以导出来直接查看,效果如下
也可以用SQLite分析csv文件,这里在这里不说了,感兴趣可以问度娘