MySQL - 分库/分表 - 学习/实践

发布于:2023-01-04 ⋅ 阅读:(257) ⋅ 点赞:(0)

1.应用场景

数据库成为响应瓶颈,需要做优化处理,以及当数据存储量很大时,可以采用的方案.

2.学习/参考

1. 文档

https://blog.csdn.net/william_n/article/details/115066198 // 2021-03-22 - 分布式存储 - 数据库主从/分库分表 - 学习/实践 ---- 推荐

mysql 分库分表_武志强crazy_新浪博客

分库分表的5大方案,百度、腾讯、阿里等大厂都在用!_程序员追风的博客-CSDN博客 

分库分表?如何做到永不迁移数据和避免热点? // --- range+hash 分库分表的方案

凭啥不能用 uuid 做 MySQL 的主键!? -- 查看文档

MySQL存储大数据量解决方案 - 掘金 -- 其中有些文字论述,可以帮助我们更加理解服务的运行,知识体系的建立

2. 项目参考

https://github.com/maixiaojie/php-divideTable
https://github.com/charmtrack/php-Subtable
https://github.com/1107012776/PHP-Sharding-PDO
PHP结合MySQL进行切片、分库分表 - lys的个人博客-慢生活

https://github.com/tekintian/mydb
https://github.com/zld7956/php_mysql

3. 整理输出

1. 分表

分表是分散数据库压力的好方法。

分表,最直白的意思,就是将一个表结构分为多个表,然后,可以在同一个库里,也可以放到不同的库。
当然,首先要知道什么情况下,才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。

1.1 分表的分类

纵向分表[垂直分表]

将本来可以在同一个表的内容,人为划分为多个表。

(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的。)

分表理由:

根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)

案例:
对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。


这样纵向分表后:

首先,存储引擎的使用不同。

冷数据使用MyIsam 可以有更好的查询数据。

活跃数据,可以使用Innodb ,可以有更好的更新速度。


其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。

其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis
之类的缓存,等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个。

横向分表[水平分表]

字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表。

如,用户信息表,user_1,user_2 等。

表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据 用户ID 来取模划分。


分表理由:

根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。

案例:

同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。

2. 分库

1.1 水平分库

TBD

因数据量拆分

1.2 垂直分库

TBD

按照业务拆分

后续补充

...

3.问题/补充

1. MysQL常说的分区是指另外一种粒度的数据分区方式?

还是统称分库分表为数据分区?

TBD

4.参考

mysql 分库分表_武志强crazy_新浪博客

分库分表的5大方案,百度、腾讯、阿里等大厂都在用!_程序员追风的博客-CSDN博客  // 分库分表的5大方案,百度、腾讯、阿里等大厂都在用!

分库分表?如何做到永不迁移数据和避免热点?  // 分库分表?如何做到永不迁移数据和避免热点?--- range+hash 分库分表的方案

https://blog.csdn.net/william_n/article/details/115066198 // 2021-03-22 - 分布式存储 - 数据库主从/分库分表 - 学习/实践

后续补充

...