拜托,我也不想跪着的,但这份redis深度笔记也太牛了

发布于:2022-11-09 ⋅ 阅读:(542) ⋅ 点赞:(0)

Redis基本常识

Redis是当前比较热门的NoSQL框架之一
它是一个开源的、使用ANSI C语言编写的key-value存储系统(区别于MySQL的二维表格形式存储)
和Memcache类似,但很大程度补偿了Memcache的不足,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数据缓存到内存中,无法自动定期写入硬盘,这就表示,一断电或重启,内存清空,数据丢失

Redis常见的业务使用场景

场景1:取最新N个数据

例如典型的取网站文章的最新评论,则可以将最新的5000条评论ID放在Redis的List集合中,并将超出集合部分从数据库获取

场景2:应用于各类排行榜,取TOP N的操作

​ 这个场景与上面取最新N个数据需求的不同之处在于,前面操作以时间为权重,而这个TOP N是以某个条件为权重,比如按点赞的次数排序,可以使用Redis的sorted set,将要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。

Redis zadd,命令用于将一个或多个成员元素及其分数值加入到有序集当中(简单了解即可)

如果某个成员已经是有序集的成员,那么更新这个成员的分数值,并通过重新插入这个成员元素,来保证该成员在正确的位置上
分数值可以是整数值或双精度浮点数。
如果有序集合 key 不存在,则创建一个空的有序集并执行 zadd 操作
当 key 存在但不是有序集类型时,返回一个错误

场景3:需要精准设定过期时间的应用

​ 比如可以把上面场景2说到的sorted set的score值设置成过期时间的时间戳,那么就可以简单地通过过期时间排序,定时清除过期数据了,不仅是清除Redis中的过期数据,你完全可以把Redis里这个过期时间当成是对数据库中数据的索引,用Redis来找出哪些数据需要过期删除,然后再精准地从数据库中删除相应的记录

场景4:计数器应用

Redis的命令都是原子性的,你可以轻松地利用INCR,DECR命令来构建计数器系统

命令:
incr key 对key存储的value值+1,并将最终的结果作为返回值;
decr key 对key存储的value值-1,并将最终的结果作为返回值;

场景5:Uniq操作,获取某段时间所有数据排重值

这个使用Redis的set数据结构最合适了,只需要不断地将数据往set中扔就行了,set意为集合,所以会自动排重

场景6:实时系统,反垃圾系统

通过上面场景5说到的set功能,后台可以获取一个终端用户此时是否进行了某个操作,可以找到其操作的集合并进行分析统计对比等。

场景7:缓存

将数据直接存放到内存中,性能优于Memcached,数据结构更多样化

现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要使用,可见精通Redis使用真的很有必要。
所以,今天则分享出腾讯云大神亲自码出的“redis深度笔记”,笔记内容没有讲一句废话,全篇看下来都是精华!

PART1:Redis深度笔记开篇
1.Redis可以用来做什么?

  • 由Redis面试想到的
  • Redis可以做什么?

     

2.Redis基础数据结构

  • Redis安装
  • Redis基础的数据结构
  • 容器型数据结构的通用规则
  • 关于Redis使用的一些思考

     

PART2:Redis的应用总结
1.分布式锁

  • 分布式锁
  • 超时问题
  • 可重入性

     

2.延时队列

  • 异步消息队列?
  • 队列空了怎么办?
  • 队列延迟
  • 空闲连接自动断开
  • 锁冲突处理
  • 延时队列的实现
  • 进一步优化

     

3.位图

  • 基本使用
  • 统计和查找
  • 魔术指令 bitfield

     

4.HyperLogLog

  • 使用方法
  • pfadd这个pf是什么意思?
  • pfmerge适合什么场合用?
  • 注意事项
  • HyperLogLog实现原理
  • pf的内存占用为什么是12k?

     

5.布隆过滤器

  • 布隆过滤器是什么?
  • Redis中的布隆过滤器
  • 布隆过滤器的基本使用
  • 注意事项
  • 布隆过滤器的原理
  • 空间占用估计
  • 实际元素超出时,误判率会怎样变化?
  • 用不上Redis4.0怎么办?
  • 布隆过滤器的其他应用

     

6.简单限流

  • 如何使用Redis来实现简单限流策略?

     

7.漏斗限流

  • Redis-Cell
  • 一些思考

     

8.GeoHash

  • 用数据库来算附近的人
  • GeoHash算法
  • Redis的Geo指令基本使用

     

9.Scan

  • scan基础使用
  • 字典的结构
  • scan遍历顺序
  • 字典扩容
  • 对比扩容缩容前后的遍历顺序
  • 渐进式rehash
  • 更多的scan指令
  • 大Key扫描

     

PART3:Redis的原理
1.线程IO模型

  • 非阻塞IO
  • 事件轮询(多路复用)
  • 指令队列
  • 响应队列
  • 定时任务

     

2.通信协议

  • RESP(Redis Serialization Protocol)
  • 客户端->服务端
  • 服务端->客户端

     

3.持久化

  • 快照原理
  • fork(多进程)
  • AOF原理
  • AOF重写
  • fsync
  • 运维
  • Redis4.0混合持久化

     

4.管道

  • Redis的消息交互
  • 管道压力测试
  • 深入理解管道本质

     

5.事务

  • Redis事务的基本使用
  • 原子性
  • discard(丢弃)
  • 优化
  • Watch

     

6.PubSub

  • 消息多播
  • PubSub
  • 模式订阅
  • 消息结构
  • PubSub缺点

     

7.小对象压缩

  • 32bit vs 64bit
  • 小对象压缩存储(ziplist)
  • 内存回收机制
  • 内存分配算法

     

8.主从同步

  • CAP原理
  • 最终一致
  • 主从同步
  • 增量同步
  • 快照同步
  • 增加从节点
  • 无盘复制
  • Wait指令

     

PART4:Redis集群
1.Sentinel

  • 消息丢失
  • Sentinel基本使用

     

2.Codis

  • Codis分片原理
  • 不同的Codis实例之间槽位关系如何同步?
  • 扩容
  • 自动均衡
  • Codis的代价
  • Codis的优点
  • MGET指令的操作过程
  • 架构变迁
  • Codis的尴尬
  • Codis的后台管理

     

3.Cluster

  • 槽位定位算法
  • 跳转
  • 迁移
  • 容错
  • 网络抖动
  • 可能下线(PFAIL-Possibly Fail)与确定下线(Fail)
  • Cluster基本使用
  • 槽位迁移感知
  • 集群变更感知

     

PART5:Redis拓展
1.Stream

  • 消息ID
  • 消息内容
  • 增删改查
  • 独立消费
  • 创建消费组
  • 消费
  • Stream消息太多怎么办?
  • 消息如果忘记ACK会怎样?
  • PEL如何避免消息丢失?
  • Stream的高可用
  • 分区Partition

     

http://2.Info指令

  • Redis每秒执行多少次指令?
  • Redis连接了多少客户端?
  • Redisn内存占用多大?
  • 复制积压缓存区多大?

     

3.再谈分布式锁

  • Redlock算法
  • Redlock使用场景

     

4.过期策略

  • 过期的key集合
  • 定时扫描策略
  • 从库的过期策略

     

5.LRU

  • LRU算法
  • 近似LRU算法

     

6.懒惰删除

  • Redis为什么要懒惰删除(lazy free)?
  • flush
  • 异步队列
  • AOF Sync也很慢
  • 更多异步删除点

     

7.优雅地使用Jedis

  • 重试

     

8.保护Redis

  • 指令安全
  • 端口安全
  • Lua脚本安全
  • SSL代理

     

9.Redis安全通信

  • spiped原理
  • spiped使用入门

     

PART6:源码
1.探索字符串内部结构

  • embstr vs raw
  • 扩容策略

     

2.探索字典内部

  • dict 内部结构
  • 渐进式rehash
  • 查找过程
  • hash 函数
  • hash攻击
  • 扩容条件
  • 缩容条件
  • set的结构

     

3.探索压缩列表内部

  • 增加元素
  • 级联更新
  • IntSet 小整数集合

     

4.探索快速列表内部

  • 每个ziplist存多少元素?
  • 压缩深度

     

5.探索跳跃列表内部结构

  • 基本结构
  • 查找过程
  • 随机层数
  • 插入过程
  • 删除过程
  • 更新过程
  • 如果score值都一样呢?
  • 元素排名是怎么算出来的?

     

6.探索紧凑列表内部

  • 级联更新
  • 取代ziplist

7.探索基数树内部

  • 应用
  • 结构
  • 增删节点

     

总结
最后,我想说的是,学习并非难事,而贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。

本文含有隐藏内容,请 开通VIP 后查看