15.缓存过期淘汰策略

15.1 面试

• 生产上你们的 redis 内存设置多少？

• 如何配置、修改 redis 的内存大小

• 如果内存满了你怎么办

• redis 清理内存的方式？定期删除和惰性删除了解过吗

• redis 缓存淘汰策略有哪些？分别是什么？你用那个？

• redis 的 LRU 了解过吗？请手写 LRU 算法手写

• lru 和 lfu 算法的区别是什么

15.2 redis 内存满了怎么办

• 查看 redis 最大占用内存

  • 打开 redis 配置文件，设置 maxmemory 参数，maxmemory 是 bytes 字节类型，注意转换。

    

• 默认内存

  • 如果不设置最大内存大小或者设置最大内存大小为 0，在 64 位操作系统下不限制内存大小，在 32 位操作系统下最多使用 3GB

  • 注意，在 64bit 系统下，maxmemory 设置为 0 表示不限制 Redis 内存使用

• 生产上内存配置

  • 一般推荐 Redis 设置内存为最大物理内存的四分之三

• 如何修改内存

  • 通过配置文件修改

    

  • 通过命令修改

    

• 如何查看内存使用情况

  • infomemory

  • config get maxmemory

• 超出最大值会怎么样

  

• 结论：

  • 设置了 maxmemory 的选项，假如 redis 内存使用达到上限

  • 没有加上过期时间就会导致数据写满 maxmemory

  • 为了避免类似情况，引出内存淘汰策略

15.3 删除策略

15.3.1 立即删除

• redis 不可能时时刻刻遍历所有被设置了生存时间的 key，来检测数据是否已经到达过期时间，然后对他进行删除

• 立即删除能保证内存中数据最大新鲜度，因为他保证过期键值会在过期后立马被删除，其所占用的内存也会随之释放。但是立即删除对 cpu 是最不友好的。因为删除操作会占用 cpu 的时间，如果刚好碰上了 cpu 很忙的时候，比如正在做交集或排序等计算的时候，就会给 cpu 造成额外的压力，让 CPU 心累，实时需要删除，忙死。。。。

• 这会产生大量的性能消耗，同时也会影响数据的读取操作

• 总结：对 CPU 不友好，用处理器性能换取存储空间（拿时间换空间）

15.3.2 惰性删除

• 数据到达过期时间，不做处理。等下次访问该数据是，如果未过期，返回数据；发现已过期，删除，返回不存在

• 惰性删除策略的缺点是，他对内存是最不友好的

• 如果一个键已经过期，而这个键有仍然保留在 redis 中，那么只要这个过期键不被删除，他所占用的内存就不会释放。

• 在使用惰性删除策略时，如果数据库中有非常多的过期键，而这些过期键有恰好没有被访问到的话，那么他们永远也不会被删除（除非用户手动执行 FLUSHDB），我们甚至可以将这种情况看作是一种内存泄露-无用的垃圾数据占用了大量的内存，而服务器却不会自己去释放他们，这对于运行状态非常依赖于内存的 redis 服务器来说，肯定不是一个好消息

• 总结：对 memory 不友好，用存储空间换取处理器性能（拿空间换时间）

• 开启惰性淘汰：lazyfree-laze-eviction = yes

15.3.3 定期删除

• 定期删除是前两种策略的折中：

• 定期删除策略，每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行时长和频率来减少删除操作对 CPU 时间的影响

周期性轮询 redis 库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

• 特点 1：CPU 性能占用设置有峰值，检测频度可自定义设置

• 特点 2：内存压力不是很大，长期占用内粗的冷数据会被持续清理

总结：周期性抽查存储空间（随机抽查，重点抽查）

• 举例：

redis 默认每隔 100ms 检查是否有过期的 key，有过期 key 则删除。

注意：redis 不是每隔 100ms 将所有的 key 检查一次，而是随机抽取进行检查（如果每隔 100ms，全部 key 进行检查，redis 直接进去 ICU）。因此，如果只采用定期删除策略，会导致很多 key 到时间没有删除。

• 定期删除策略的难点是确定删除操作执行的时长和频率：

• 如果删除操作执行的太频繁或者执行的时间太长，定期删除策略就会退化成立即删除策略，以至于将 CPU 时间过多的消耗在删除过期键上面。如果删除操作执行的太少，或者执行的时间太短，定期删除策略又会和惰性删除策略一样，出现浪费内存的情况。因此，如果采用定期删除策略的话，服务器必须根据情况，合理的设置删除操作的执行时长和执行频率

• 定期抽样 key，判断是否过期

• 可能会有漏网之鱼

• BUG:

  • 定期删除时，从来没有被抽查到

  • 惰性删除时，也从来没有被点中使用过

  • 上述两个步骤======> 大量过期的 key 堆积在内存中，导致 redis 内存空间紧张或者很快耗尽

15.4 redis 缓存淘汰策略

15.4.1 配置文件

15.4.2 LRU 和 LFU

• LRU：最近最少使用页面置换算法，淘汰最长时间未被使用的页面，看页面最后一次使用到发生调度的时间长短，首先淘汰最长时间未被使用的页面

• LFU：最近最不常用页面置换算法，淘汰一定时期内被访问次数最少的页，看一定时间段内页面被使用的频率，淘汰一定时期内被访问次数最少的页

• 举例

某次时期 Time 为 10 分钟，如果每分钟进行一次调页，主存块为 3，若所需页面走向为 2 1 2 1 2 3 4

假设到页面 4 时会发生缺页中断

若按 LRU 算法，应换页面 1（1 页面最久未被使用），但按 LFU 算法应换页面 3（十分钟内，页面 3 只使用了一次）

可见 LRU 关键是看页面最后一次被使用到发生调度的时间长短，而 LFU 关键是看一定时间段内页面被使用的频率！

15.4.3 redis8 种策略

1. noeviction:不会驱逐任何 key，表示即使内存达到上限也不进行置换，所有能引起内存增加的命令都会返回 error

2. allkeys-lru:对所有 key 使用 LRU 算法进行删除，优先删除掉最近最不经常使用的 key，用以保存新数据

3. volatile-lru:对所有设置了过期时间的 key 使用 LRU 算法进行删除

4. allkeys-random:对所有 key 随机删除

5. volatile-random:对所有设置了过期时间的 key 随机删除

6. volatile-ttl: 删除马上要过期的 key

7. allkeys-lfu:对所有 key 使用 LFU 算法进行删除

8. volatile-lfu:对所有设置了过期时间的 key 使用 LFU 算法进行删除

总结：

• 2*4 = 8

• 2 个维度

  • 过期键中筛选

  • 所有键中筛选

• 4 个方面

  • LRU

  • LFU

  • Random

  • ttl

• 8 个选项

15.4.4 使用

• 在所有的 key 都是最近最经常使用，那么就需要选择 allkeys-lru 进行置换最近最不经常使用的 key，如果你不确定使用哪种策略，那么推荐使用 allkeys-lru

• 如果所有的 key 的访问概率都是差不多的，那么可以选用 allkeys-random 策略去置换数据

• 如果对数据有足够的了解，能够为 key 指定 hint（通过 expire/ttl 指定），那么可以选择 volatile-ttl 进行置换

15.4.5 配置

• config 命令

• redis.conf 配置文件

15.4.6 建议

• 避免存储 bigkey

• 开启惰性淘汰

  • lazyfree-lazy-evition=yes