当前位置: 代码网 > it编程>数据库>Redis > Redis的过期策略以及内存淘汰机制详解

Redis的过期策略以及内存淘汰机制详解

2025年04月23日 Redis 我要评论
在谈redis过期概念时,先抛出几个问题:1:redis 给缓存数据设置过期时间?2:redis 是如何判断数据是否过期的呢?3:大量 key 集中过期怎么办?那么代入问题,根据概念思考这几个问题吧r

在谈redis过期概念时,先抛出几个问题:

  • 1:redis 给缓存数据设置过期时间?
  • 2:redis 是如何判断数据是否过期的呢?
  • 3:大量 key 集中过期怎么办?

那么代入问题,根据概念思考这几个问题吧

redis有三种数据过期策略:定时删除,惰性删除,定期删除

​​​一、过期策略

1、惰性删除

当读/写一个已经过期的key时,会触发惰性删除策略,判断key是否过期,如果过期了直接删除掉这个key

简而言之:就是当被读写的时候,再判断是否过期再删除

对于过期的key不作任何处理,当获取key时检查key是否过期,过期就删除,否则直接返回。

  • 优点:删除key操作只在取出key时发生,只删除当前key,占用cpu少。
  • 缺点:当大量key超出过期时间后未被使用,会占用大量内存

2、定时删除

由于惰性删除策略无法保证冷数据被及时的删掉,所以redis会定期(默认每100ms)主动淘汰一批已过期的key,这里的一批只是部分过期的key,所以可能会出现部分key已经过期但是还没有被清理掉的情况,导致内存没有被及时释放

简而言之:每隔一定时间删除

在设置key的过期时间时设置定时器,当key过期时通过定时器删除key。

  • 优点:保证过期的key被及时删除。
  • 缺点:在key过多时,删除key会占用cpu资源,对服务器的响应时间和吞吐量造成影响。同时为每个key设置定时器有性能消耗

3、定期删除

redis默认每隔100ms就随机抽取一些设置了过期时间的key,检查其是否过期,如果有过期就删除。注意这里是随机抽取的。为什么要随机呢?你想一想假如 redis 存了几十万个 key ,每隔100ms就遍历所有的设置过期时间的 key 的话,就会给 cpu 带来很大的负载

简而言之:随机每隔一定时间删除

定时删除和惰性删除的这种方案,每隔一段时间检查redis中过期的key,并通过限制删除执行的时长和频率。

  • 优点:删除key时限制了删除操作的时长和频率,减少了对cpu的影响。即使删除了过期key,减少了内存的占用。
  • 缺点:如果定期删除太频繁,或者执行时间太长,会退化为定时删除,占用cpu资源。如果删除执行时间太短,或者执行频率低,会退化为惰性删除,出现内存浪费。

redis使用的是定期删除+惰性删除的策略,在合理使用cpu和避免内存浪费之间平衡

定期删除+惰性删除存在的问题

如果某个key过期后,定期删除没删除成功,然后也没再次去请求key,也就是说惰性删除也没生效。这时,如果大量过期的key堆积在内存中,redis的内存会越来越高,导致redis的内存块耗尽。那么就应该采用内存淘汰机制

二、内存淘汰机制

​​​1、内存淘汰策略

redis key没设置过期时间为什么被redis主动删除了?

当redis已用内存超过maxmemory限定时,就会触发主动清理策略

在 redis.conf 中有一行配置:

# maxmemory-policy noeviction

redis的默认淘汰策略是noeviction

执行流程如下

主动清理策略在redis4.0之前一共实现了8种内存淘汰策略

a)针对设置了过期时间的key做处理:

  • 1、volatile-ttl:在设置了过期时间的键值对中,移除即将过期的键值对。
  • 2、volatile-random:在设置了过期时间的键值对中,随机移除某个键值对。
  • 3、volatile-lru:在设置了过期时间的键值对中,移除最近最少使用的键值对。
  • 4、volatile-lfu:在设置了过期时间的键值对中,移除最近最不频繁使用的键值对

b)针对所有的key做处理:

  • 5、allkeys-random:在所有键值对中,随机移除某个key。
  • 6、allkeys-lru:在所有的键值对中,移除最近最少使用的键值对。
  • 7、allkeys-lfu:在所有的键值对中,移除最近最不频繁使用的键值对

c)不处理:

  • 8、noeviction:不进行淘汰数据。不会删除任何数据,拒绝所有写入操作并返回客户端错误信息"(error) oom command not allowed when used memory",此时redis只响应读操作

一旦缓存被写满,再有写请求进来,redis就不再提供服务,而是直接返回错误。redis 用作缓存时,实际的数据集通常都是大于缓存容量的,总会有新的数据要写入缓存,这个策略本身不淘汰数据,也就不会腾出新的缓存空间,我们不把它用在 redis 缓存中

​​​2、内存淘汰算法

从内测淘汰策略分类上,我们可以得知,除了随机删除和不删除之外,主要有两种淘汰算法:lru 算法和 lfu 算法

  • lru算法(least recently used,最近最少使用):淘汰很久没被访问过的数据,以最近一次访问时间作为参考
  • lfu算法(least frequently used,最不经常使用):淘汰最近一段时间被访问次数最少得数据,以次数作为参考

绝大多数情况,使用lru算法,当存在大量热点缓存数据时,lfu可能更好点

三、lazy-free机制

lazy-free 特性是 redis 4.0 开始引入的,指的是让 redis 采用异步方式延迟释放 key 使用的内存,将该操作交给单独的子线程处理,避免阻塞主线程

目的是减少删除键时对主线程的影响,从而提高 redis 的整体性能。

lazy free 主要有两种应用场景:

  • 主动删除:使用 unlink 命令代替 del 命令来删除键。unlink 命令会在后台异步地释放内存
  • 被动删除:在某些情况下,如过期键的删除或达到最大内存限制时的缓存淘汰,redis 会尝试异步地释放内存。

lazy free 与缓存淘汰的关系

虽然 lazy free 不是缓存淘汰机制的一部分,但在缓存淘汰过程中,lazy free 可以用来优化缓存淘汰操作的执行方式,减少对 redis 性能的影响。具体来说:

1、减少主线程阻塞:

在缓存淘汰策略中,当 redis 需要删除键来释放内存时,使用 lazy free 可以减少主循环的阻塞时间。这是因为删除操作是在后台线程中完成的,而不是立即执行

2、提高性能:

lazy free 可以帮助提高 redis 的性能,特别是在高负载的情况下,因为它减少了删除操作对主线程的影响。

3、与缓存淘汰策略的交互:

当 redis 需要根据缓存淘汰策略删除键时,如果启用了 lazy free,那么这些删除操作可能会被异步执行,这有助于减少对客户端请求的延迟影响

例子:假设 redis 的缓存淘汰策略配置为 allkeys-lru,并且启用了 lazy free

当 redis 达到最大内存限制时,它会根据 lru 策略选择一些键来删除。

如果这些键满足 lazy free 的条件(例如,使用了 unlink 命令或配置了相应的 lazy free 选项),那么这些键的删除操作将在后台异步执行,而不是立即在主线程中执行

也就是说如果没有lazy free,执行缓存淘汰策略时,删除键的操作将会同步执行,可能会阻塞主线程,影响其他客户端的请求

四、相关问题

好了,来解决上面抛出的问题

1:redis 给缓存数据设置过期时间?

(1)redis的内存是有限的

  • 如果不对缓存数据设置过期时间,那内存占用就会一直增长,最终可能会导致 oom 问题。
  • 通过设置合理的过期时间,redis 会自动删除暂时不需要的数据,为新的缓存数据腾出空间

(2)某些业务场景需要某些数据在一段时间后过期

  • 比如我们的短信验证码可能只在 1 分钟内有效,用户登录的 token 可能只在 1 天内有效
  • 如果使用传统的数据库来处理的话,一般都是自己判断过期,这样更麻烦并且性能要差很多

2:redis 是如何判断数据是否过期的呢?

  • redis 通过一个叫做过期字典(可以看作是 hash 表)来保存数据过期的时间。过期字典的键指向 redis 数据库中的某个 key(键)
  • 过期字典的值是一个 long类型的整数,这个整数保存了 key 所指向的数据库键的过期时间(毫秒精度的 unix 时间戳)
  • 在查询一个 key 的时候,redis 首先检查该 key 是否存在于过期字典中(时间复杂度为 o(1)),如果不在就直接返回,在的话需要判断一下这个 key 是否过期,过期直接删除 key 然后返回 null。

3:大量 key 集中过期怎么办?

如果存在大量 key 集中过期的问题,可能会使 redis 的请求延迟变高。可以采用下面的可选方案来应对:

  • 尽量避免 key 集中过期,在设置键的过期时间时尽量随机一点。
  • 对过期的 key 开启 lazyfree 机制(修改 redis.conf 中的 lazyfree-lazy-expire参数即可),这样会在后台异步删除过期的 key,不会阻塞主线程的运行。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com