【Linux】Redis高可用概述1(RDB和AOF的备份恢复)

在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务 (99.9%、99.99%、99.999% 等等)

但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服 务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全不会丢失等。

在Redis中,实现高可用的技术主要包括持久化、复制、哨兵和集群,下面分别说明它们的作用,以及解决了什么 样的问题。

  1. 持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储 在硬盘,保证数据不会因进程退出而丢失。
  2. 复制:复制是高可用Redis的基础,哨兵和集群都是在复制基础上实现高可用的。复制主要实现了数据的多机备 份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力 受到单机的限制。
  3. 哨兵:在复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限 制。
  4. 集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高 可用方案。

一、Redis持久化

持久化的功能:Redis是内存数据库,数据都是存储在内存中,为了避免进程退出导致数据的永久丢失,需要定期 将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时,利用持久化文件实现数据恢 复。除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置。

Redis持久化分为 RDB持久化AOF持久化前者将当前数据保存到硬盘,后者则是将每次执行的写命令保存 到硬盘(类似于MySQL的binlog)由于AOF持久化的实时性更好,即当进程意外退出时丢失的数据更少,因此 AOF是目前主流的持久化方式,不过RDB持久化仍然有其用武之地。 


1.1 RDB持久化

RDB全称为RedisDataBase,RDB持久化是将当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),保存的文件后缀是rdb,默认的文件名为dump.rdb。当Redis重新启动时,可以读取快照文件恢复数据。

什么是快照呢,你可以理解成把当前时刻的数据拍成一张照片保存下来。


1.1.1 触发条件

RDB持久化的触发分为手动触发和自动触发两种。

1) 手动触发

save命令和bgsave命令都可以生成RDB文件。

 save命令会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。具体流 程如下:

 执行完成时候如果存在老的RDB文件,就把新的替代掉旧的。我们的客户端可能都是几万或者是几十万,这种方式显然不可取。


bgsave命令会创建一个子进程,由子进程来负责创建RDB文件,父进程(即Redis主进程)则继续处理请求。

执行该命令时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。具体流程如下:

具体操作是:Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在 fork阶段,一般时间很短。基本上 Redis 内部所有的RDB操作都是采用bgsave 命令


1.1.2 save与bgsave命令对比

bgsave命令执行过程中,只有fork子进程时会阻塞服务器,而对于save命令,整个过程都会阻塞服务器,因此 save已基本被废弃,线上环境要杜绝save的使用;后文中也将只介绍bgsave命令。此外,在自动触发RDB持久化 时,Redis也会选择bgsave而不是save来进行持久化;


2) 自动触发

save m n

自动触发最常见的情况是在配置文件中通过save m n,指定当m秒内发生n次变化时,会触发bgsave。 例如,查看redis的默认配置文件(Linux下为redis根目录下的redis.conf),可以看到如下配置信息:

其中save 900 1的含义是:

当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave;

save 300 10和save 60 10000同理。

当三个save条件满足任意一个时,都会引起bgsave的调用。 


1.1.3 相关参数配置解释

参数配置在 redis.conf 文件里。

# save:这里是用来配置触发 Redis的持久化条件,也就是什么时候将内存中的数据保存到硬盘。 默认如下配置

save 900 1 #表示900 秒内如果至少有 1 个 key 的值变化,则保存

save 300 10 #表示300 秒内如果至少有 10 个 key 的值变化,则保存

save 60 10000 #表示60 秒内如果至少有 10000 个 key 的值变化,则保存

# 默认值为yes。当启用了RDB且最后一次后台保存数据失败,Redis是否停止接收数据。这会让用户意识到数据没 有正确持久化到磁盘上,否则没有人会注意到灾难(disaster)发生了。如果Redis重启了,那么又可以重新开始 接收数据了

stop-writes-on-bgsave-error yes

# 默认值是yes。对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行 压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能,但是存储在磁盘上的快照会比较大。

rdbcompression yes

# 默认值是yes。在存储快照后,我们还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的 性能消耗,如果希望获取到最大的性能提升,可以关闭此功能。

rdbchecksum yes

设置快照文件的存放路径,这个配置项一定是个目录,而不能是文件名。使用上面的 dbfilename 作为保存的文件 名。

dir /usr/local/var/db/redis/ 设置快照的文件名,默认是 dump.rdb dbfilename dump.rdb


1.1.4 RDB的优缺点、

优点:  

适合大规模的数据恢复,如果业务对数据完整性和一致性要求不高,RDB是很好的选择。

缺点:

RDB快照是一次全量备份,存储的是内存数据的二进制序列化形式,存储上非常紧凑。当进行快照持久化时,会 开启一个子进程专门负责快照持久化,子进程会拥有父进程的内存数据,父进程修改内存子进程不会反应出来,所 以在快照持久化期间修改的数据不会被保存,可能丢失数据。


1.1.5 RDB备份触发条件:

  1. 执行save或bgsave命令可触发生成dump.rdb文件
  2. 执行shutdown命令可以触发生成dump.rdb文件
  3. 配置文件中如果通过配置参数save m n,指定当m秒内发生n次变化时,会触发bgsave生成dump.rdb文件

1.2 AOF持久化

AOF 全称是Append Only File,是 redis 记录执行指令的日志文件。

1.2.1 AOF工作原理

将写操作追加到文件中,AOF 日志是写后日志,“写后”的意思是 Redis 是先执行命令,把数据写入内存后,然后才 记日志;里面记录的是指令执行的步骤,非常详细,描绘出了数据的变化过程。

工作机制很简单,redis会将每一个收到的写命令都通过write函数追加到文件中。通俗的理解就是日志记录。

1.2.2 AOF持久化原理

每当有一个写命令过来时,就直接保存在我们的AOF文件中。

1.2.3 AOF备份触发条件(配置文件修改三种参数)

  • 每修改同步always:同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好
  • 每秒同步everysec:异步操作,每秒记录 如果一秒内宕机,有数据丢失
  • 不同no:从不同步

二、RDB备份恢复案例

连接redis,进行数据的增加删除操作

 再执行save命令

 然后将进程关掉

 将rdb文件挪走

 在重新启动,连接客户端

 可以看到没有数据,因为你将它默认的存储数据的文件挪走了

 这时候重新输入两条数据,这时候目录里是没有dump.rdb文件的,因为这时数据是存在内存中的,只用手动执行save命令,才会将数据写到dump.rdb文件里

 

 

想要之前的数据回来,就将服务关掉,然后将原来的dump.rdb挪回来

 

 重新开启redis服务,连接redis客户端,查询数据;发现数据回来了


三、AOF备份恢复案例

 修改配置文件

重启服务,会有一个appendonly.aof文件

 

 连接客户端,查看是否有数据,发现没有,因为我们这时候使用的是AOF,原来使用RBD存数的数据还在,只是我们不用了;

 重新设置数据,发现appendonly.aof文件内存变了,不再是0

 然后将服务关掉,将appendonly.aof文件挪走,再启动服务,连接客户端,进行查看数据,发现为空;

 再将服务关掉,将原来挪走的aof文件挪回来,

 再进行查看,发现有数据了;

猜你喜欢

转载自blog.csdn.net/weixin_65690979/article/details/130602473