Redis基本常识
Redis是当前比较热门的NoSQL框架之一
它是一个开源的、使用ANSI C语言编写的key-value存储系统(区别于MySQL的二维表格形式存储)
和Memcache类似,但很大程度补偿了Memcache的不足,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数据缓存到内存中,无法自动定期写入硬盘,这就表示,一断电或重启,内存清空,数据丢失
Redis常见的业务使用场景
场景1:取最新N个数据
例如典型的取网站文章的最新评论,则可以将最新的5000条评论ID放在Redis的List集合中,并将超出集合部分从数据库获取
场景2:应用于各类排行榜,取TOP N的操作
这个场景与上面取最新N个数据需求的不同之处在于,前面操作以时间为权重,而这个TOP N是以某个条件为权重,比如按点赞的次数排序,可以使用Redis的sorted set,将要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。
Redis zadd,命令用于将一个或多个成员元素及其分数值加入到有序集当中(简单了解即可)
如果某个成员已经是有序集的成员,那么更新这个成员的分数值,并通过重新插入这个成员元素,来保证该成员在正确的位置上
分数值可以是整数值或双精度浮点数。
如果有序集合 key 不存在,则创建一个空的有序集并执行 zadd 操作
当 key 存在但不是有序集类型时,返回一个错误
场景3:需要精准设定过期时间的应用
比如可以把上面场景2说到的sorted set的score值设置成过期时间的时间戳,那么就可以简单地通过过期时间排序,定时清除过期数据了,不仅是清除Redis中的过期数据,你完全可以把Redis里这个过期时间当成是对数据库中数据的索引,用Redis来找出哪些数据需要过期删除,然后再精准地从数据库中删除相应的记录
场景4:计数器应用
Redis的命令都是原子性的,你可以轻松地利用INCR,DECR命令来构建计数器系统
命令:
incr key 对key存储的value值+1,并将最终的结果作为返回值;
decr key 对key存储的value值-1,并将最终的结果作为返回值;
场景5:Uniq操作,获取某段时间所有数据排重值
这个使用Redis的set数据结构最合适了,只需要不断地将数据往set中扔就行了,set意为集合,所以会自动排重
场景6:实时系统,反垃圾系统
通过上面场景5说到的set功能,后台可以获取一个终端用户此时是否进行了某个操作,可以找到其操作的集合并进行分析统计对比等。
场景7:缓存
将数据直接存放到内存中,性能优于Memcached,数据结构更多样化
现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要使用,可见精通Redis使用真的很有必要。
所以,今天则分享出腾讯云大神亲自码出的“redis深度笔记”,笔记内容没有讲一句废话,全篇看下来都是精华!
PART1:Redis深度笔记开篇
1.Redis可以用来做什么?
- 由Redis面试想到的
Redis可以做什么?
2.Redis基础数据结构
- Redis安装
- Redis基础的数据结构
- 容器型数据结构的通用规则
关于Redis使用的一些思考
PART2:Redis的应用总结
1.分布式锁
- 分布式锁
- 超时问题
可重入性
2.延时队列
- 异步消息队列?
- 队列空了怎么办?
- 队列延迟
- 空闲连接自动断开
- 锁冲突处理
- 延时队列的实现
进一步优化
3.位图
- 基本使用
- 统计和查找
魔术指令 bitfield
4.HyperLogLog
- 使用方法
- pfadd这个pf是什么意思?
- pfmerge适合什么场合用?
- 注意事项
- HyperLogLog实现原理
pf的内存占用为什么是12k?
5.布隆过滤器
- 布隆过滤器是什么?
- Redis中的布隆过滤器
- 布隆过滤器的基本使用
- 注意事项
- 布隆过滤器的原理
- 空间占用估计
- 实际元素超出时,误判率会怎样变化?
- 用不上Redis4.0怎么办?
布隆过滤器的其他应用
6.简单限流
如何使用Redis来实现简单限流策略?
7.漏斗限流
- Redis-Cell
一些思考
8.GeoHash
- 用数据库来算附近的人
- GeoHash算法
Redis的Geo指令基本使用
9.Scan
- scan基础使用
- 字典的结构
- scan遍历顺序
- 字典扩容
- 对比扩容缩容前后的遍历顺序
- 渐进式rehash
- 更多的scan指令
大Key扫描
PART3:Redis的原理
1.线程IO模型
- 非阻塞IO
- 事件轮询(多路复用)
- 指令队列
- 响应队列
定时任务
2.通信协议
- RESP(Redis Serialization Protocol)
- 客户端->服务端
服务端->客户端
3.持久化
- 快照原理
- fork(多进程)
- AOF原理
- AOF重写
- fsync
- 运维
Redis4.0混合持久化
4.管道
- Redis的消息交互
- 管道压力测试
深入理解管道本质
5.事务
- Redis事务的基本使用
- 原子性
- discard(丢弃)
- 优化
Watch
6.PubSub
- 消息多播
- PubSub
- 模式订阅
- 消息结构
PubSub缺点
7.小对象压缩
- 32bit vs 64bit
- 小对象压缩存储(ziplist)
- 内存回收机制
内存分配算法
8.主从同步
- CAP原理
- 最终一致
- 主从同步
- 增量同步
- 快照同步
- 增加从节点
- 无盘复制
Wait指令
PART4:Redis集群
1.Sentinel
- 消息丢失
Sentinel基本使用
2.Codis
- Codis分片原理
- 不同的Codis实例之间槽位关系如何同步?
- 扩容
- 自动均衡
- Codis的代价
- Codis的优点
- MGET指令的操作过程
- 架构变迁
- Codis的尴尬
Codis的后台管理
3.Cluster
- 槽位定位算法
- 跳转
- 迁移
- 容错
- 网络抖动
- 可能下线(PFAIL-Possibly Fail)与确定下线(Fail)
- Cluster基本使用
- 槽位迁移感知
集群变更感知
PART5:Redis拓展
1.Stream
- 消息ID
- 消息内容
- 增删改查
- 独立消费
- 创建消费组
- 消费
- Stream消息太多怎么办?
- 消息如果忘记ACK会怎样?
- PEL如何避免消息丢失?
- Stream的高可用
分区Partition
- Redis每秒执行多少次指令?
- Redis连接了多少客户端?
- Redisn内存占用多大?
复制积压缓存区多大?
3.再谈分布式锁
- Redlock算法
Redlock使用场景
4.过期策略
- 过期的key集合
- 定时扫描策略
从库的过期策略
5.LRU
- LRU算法
近似LRU算法
6.懒惰删除
- Redis为什么要懒惰删除(lazy free)?
- flush
- 异步队列
- AOF Sync也很慢
更多异步删除点
7.优雅地使用Jedis
重试
8.保护Redis
- 指令安全
- 端口安全
- Lua脚本安全
SSL代理
9.Redis安全通信
- spiped原理
spiped使用入门
PART6:源码
1.探索字符串内部结构
- embstr vs raw
扩容策略
2.探索字典内部
- dict 内部结构
- 渐进式rehash
- 查找过程
- hash 函数
- hash攻击
- 扩容条件
- 缩容条件
set的结构
3.探索压缩列表内部
- 增加元素
- 级联更新
IntSet 小整数集合
4.探索快速列表内部
- 每个ziplist存多少元素?
压缩深度
5.探索跳跃列表内部结构
- 基本结构
- 查找过程
- 随机层数
- 插入过程
- 删除过程
- 更新过程
- 如果score值都一样呢?
元素排名是怎么算出来的?
6.探索紧凑列表内部
- 级联更新
- 取代ziplist
7.探索基数树内部
- 应用
- 结构
增删节点
总结
最后,我想说的是,学习并非难事,而贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。