一、Redis集群介绍:
由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平国战每个复制集只负责存储整个数据集的一部分,这就是Redis集群,其作用是提供在多个Redis节点间共享数据的程序集;Redis集群是一个提供在多个Redis节点间共享数据的程序集,可以支持多个Master
二、Redis集群的作用:
1.Redis集群支持多个Master,每个Master又可以挂载多个Slave,因此可以做到读写分离、数据的高可用以及海量数据的读写存储操作
2.由于Cluster自带Sentinel的故障转移机制,内置了高可用的支持,无需再去使用哨兵功能
3.客户端与Redis的节点连接,不再需要连接集群中所有的节点,只需要任意连接集群中的一个可用节点即可
4.槽位slot负责分配到各个物理服务节点,由对应的集群来负责维护节点、插和数据之间的关系
三、Redis集群分片以及槽位Slot
1.Redis集群的槽位:
Redis集群没有使用一致性hash,而是引入了哈希槽的概念,有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点复制一部分hash槽
2.Redis集群的分片:
分片是指在使用Redis集群时会将存储的数据分散到多台Redis机器上,集群中的每个Redis实例都被认为是整个数据的一个分片;为了找到给定的key的分片,可以对key进行CRC16算法处理并通过对总分片数量取模,然后使用确定性的哈希函数,这意味着给定的key将多次始终映射到同一个分片,可以推断将来读取特定key的位置
这种结构很容易添加或者删除节点,比如如果我想新添加个节点D,需要从节点A,B,C中得部分槽到D上,如果想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可,由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态
3.slot槽位映射方法
(1).哈希取余分区:
用户每次读写操作都是根据公式:hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上;
优点是简单有效,只需要预估好节点,就能保证一段时间的数据支撑,使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求,起到负载均衡和分而治之的作用;
缺点在于规划好的节点后每次数据变动导致节点有变动,映射关系需要重新计算;在服务器个数固定不变时没有问题,如果需要弹性扩容或故障停机的情况下原先的取模公式会发生变化,此时地址经过取余运算的结果将发生很大变化,根据公式获取的服务器也会变得不可控
(2).一致性哈希算法分区:
当服务器个数发生变动时尽量减少影响客户端到服务器的映射关系
a.算法构建一致性哈希环:
一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间,这是一个线性空间,但是在算法中通过适当的逻辑控制使其首尾相连,形成一个环状的空间;
一致性哈希算法也是按照使用取模的方法,是对2^32取模,简单来说一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0-2^32-1(即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4、……直到2^32-1,也就是说0点左侧的第一个点代表2^32-1, 0和2^32-1在零点中方向重合,我们把这个由2^32个点组成的圆环称为Hash环
b.服务器IP节点映射:
将集群中各个IP节点映射到环上的某一个位置,各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能够确定其在哈希环上的位置
c.key落到服务器的落键规则:
需要存储一个kv键值对时,首先计算key的hash值,即计算hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置。从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。