2024后端服务架构升级

背景

1、xx业务经过多轮的业务决策和调整，存在非常多技术包袱，带了不好的用户体验和极高的维护成本

2、多套机房部署，服务部署复杂，性能可靠性无法保证

3、多套后端接口，前端接入标准不统一，通用逻辑不一致（扣费、试用、商业化）

4、主要维护业务基于g0实现，服务类型为http无状态服务，部署在美西k8s集群，具备单机房的弹性伸缩能力，服务的高可用可以进一步提升；单机房，欧洲、亚洲用户访问服务存在慢的问题

5、缺失前后端通用业务组件设计，复用性不高

缺失服务端调用链路监控与跟踪；

部分表存在单表过大问题，超5千万量级。

背景总结：

业务的调整，合并多个服务，前端接入多套后端接口，通用的扣费、试用等逻辑不一致，所以服务拆分，以及需要做统一的微服务网关；

之前是多个单机房单体应用，需要提高服务的高可用，以及数据的高可用；

改造方案

新架构图

技术选型

思考

对于微服务网关的调研，为什么选用这个云原生网关，跟传统网关的区别，以及这个网关服务跟普通服务有什么区别？

服务拆分

公共组件设计

自部署算法服务

各种算法的部署+ 有个中间服务调度算法任务

例如 视频压缩算法的调用：

排期计划

全球多活改造

背景

仅美西一个机房节点提供服务，欧洲|、亚洲用户访问xx服务响应服务慢，影响用户体验；
部分表存在单表过大问题，超5千万量级。

架构图

美西作为中心节点，使用DTS双向同步其他节点数据库
每个机房可设置一个私有库，不做同步，用于存储隐私数据相关
美西机房设置ECS从库，用于灾备用途

分布式ID

所有的业务表更改ID属性，取消自增ID，更改为分布式ID，用于解决ID主键冲突的问题。

第一阶段：修改表ID属性

alter table activity modify id bigint unsigned NOT NULL ;
alter table share_reports modify id bigint unsigned NOT NULL ;
alter table share_reports modify share_id bigint unsigned NOT NULL DEFAULT '0' COMMENT '# 分享ID';
alter table ab_cate modify id bigint unsigned NOT NULL ;
alter table products modify id bigint unsigned NOT NULL ;
alter table feedback modify id bigint unsigned NOT NULL ;
alter table products_store modify id bigint unsigned NOT NULL ;
alter table system_configs modify id bigint unsigned NOT NULL ;
alter table portrait_categories modify id bigint unsigned NOT NULL ;
...

采用开源的雪花算法生成分布式ID，参考链接：https://github.com/bwmarrin/snowflake
分布式ID生成单独放在公共服务里生成
修改业务，手动控制插入表的ID的值，用GORM的callbck事件实现

数据平滑过渡：https://www.zhihu.com/question/391373815

大表分区处理

范围

库：xxx_api
表：tasks、resources

CREATE TABLE `tasks` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `task_id` varchar(256) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 任务ID',
  `type` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 任务类型',
  `subtype` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 任务子类型',
  `params` json DEFAULT NULL COMMENT '# 参数',
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '# 状态: 1创建失败 2执行中 3成功 4失败 5关闭 6超时',
  `ws_id` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# WS_ID',
  `take_time` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 理论耗时',
  `spend_time` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 真实耗时',
  `estimate_time` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 预估耗时',
  `download` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 下载次数',
  `device` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 移动设备: 0未知 1PC 2WAP',
  `ip` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# IP',
  `err_msg` text CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci COMMENT '# 错误描述',
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL,
  `deduction` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否扣费：0否 1是',
  `srv_params` json DEFAULT NULL COMMENT '# 服务参数',
  `offline` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否离线：0否 1是',
  `vip` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# VIP：0-否， 1-是',
  `pid` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 产品ID',
  `bucket` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# oss的bucket：0美西 1乌兰 2dx',
  `offline_task` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否离线处理任务：0否 1是',
  `offline_email` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 离线任务接收邮箱',
  `offline_send` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否发送邮件：0否 1是',
  `offline_unread` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否更新未读：0否 1是',
  `display` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否展示：0否 1是',
  `preview` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否预览任务：0否 1是',
  `external` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 第三方标识，0中台 1阿里云 2dx的pixpic',
  `template` varchar(256) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 模板',
  `step` varchar(256) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 分步',
  `lora_id` varchar(256) COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# lora模型id',
  `verify_kind` varchar(64) COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 权益',
  `platform` varchar(16) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 平台',
  `version` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 版本',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `tasks_ws_id_index` (`ws_id`) USING BTREE,
  KEY `tasks_status_index` (`status`) USING BTREE,
  KEY `tasks_task_id_index` (`task_id`) USING BTREE,
  KEY `tasks_created_at_index` (`created_at`) USING BTREE,
  KEY `tasks_type_index` (`type`),
  KEY `tasks_subtype_index` (`subtype`)
) ENGINE=InnoDB AUTO_INCREMENT=41056984 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci ROW_FORMAT=DYNAMIC COMMENT='# 任务表';

CREATE TABLE `resources` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `ws_id` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# WS_ID',
  `task_id` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 任务表ID',
  `task_type` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 任务类型',
  `task_subtype` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 任务子类型',
  `meta` json DEFAULT NULL COMMENT '# 文件元信息',
  `url` varchar(256) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 文件访问地址',
  `expired` timestamp NULL DEFAULT NULL COMMENT '# 文件过期时间',
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '# 状态: 0无效 1有效',
  `source_type` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 资源类型: 0其它 1输入资源 2输出资源',
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL,
  `is_delete` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 是否删除：0否 1是',
  `name` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 名称',
  `format` varchar(16) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '# 输入格式',
  `size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 原始大小',
  `bucket` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 地区：0美西 1乌兰',
  `pid` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '# 产品ID',
  `external` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '# 第三方标识，0中台 1阿里云',
  `detail` json DEFAULT NULL COMMENT '# 补充信息',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `resources_ws_id_index` (`ws_id`) USING BTREE,
  KEY `resources_task_id_index` (`task_id`) USING BTREE,
  KEY `resources_created_at_index` (`created_at`) USING BTREE,
  KEY `resources_task_type_index` (`task_type`) USING BTREE,
  KEY `resources_expired_index` (`expired`) USING BTREE,
  KEY `resources_format_index` (`format`),
  KEY `resources_task_subtype_index` (`task_subtype`),
  KEY `resources_url_index` (`url`)
) ENGINE=InnoDB AUTO_INCREMENT=87350171 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci ROW_FORMAT=DYNAMIC COMMENT='# 资源表';

使用用途

任务记录

任务输入输出资源记录

主要查询场景

1、where task_id=xxxxx and xxx
2、where ws_id=xxxx and xxxx

改造方案

• 1、task表：

增加分区字段part_id bigint类型，注册用户分区字段写入wsid, 临时用户分区字段写入时间年月：202403

增加full_task_id，基于taskid+分区字段拼接，如：taskid: ead-6a038265-175e-4d4f-92a6-88aa93014493 part_id: 336736560,拼接后的full_task_id: ead-6a038265-175e-4d4f-92a6-88aa93014493_P336736560

full_task_id 会暴露给外部，基于full_task_id mi服务自动解析出 part_id 和 taskid

增加字段:

ALTER TABLE mediaio_api`.`tasks

ADD COLUMN full_task_id`varchar(180)NOTNULLDEFAULT''COMMENT '# 全信息taskid',`

ADD COLUMN part_id`bigintUNSIGNED NOT` `NULL` `DEFAULT` `0 COMMENT'# 分区ID'`,

DROP PRIMARY KEY``,

ADD PRIMARY KEY (id,part_id) USING BTREE;

ALTER TABLE `mediaio_api`.`tasks` PARTITION BY HASH (part_id)
PARTITIONS 191
;

创建分区:

• 2、resources表，基于task_id hash分区

变更字段

ALTER TABLE `mediaio_api`.`resources`
MODIFY COLUMN `task_id` bigint(20) UNSIGNED NOT NULL DEFAULT 0 COMMENT '# 任务表ID' AFTER `ws_id`,
DROP PRIMARY KEY,
ADD PRIMARY KEY (`id`, `task_id`) USING BTREE;

创建分区

ALTER TABLE `mediaio_api`.`resources` PARTITION BY HASH (task_id)
PARTITIONS 383
;

• 3、 users 表

变更字段：

ALTER TABLE `mediaio_api`.`users`
MODIFY COLUMN `ws_id` bigint(20) UNSIGNED NOT NULL DEFAULT 0 COMMENT '# WSID' AFTER `password`,
DROP PRIMARY KEY,
ADD PRIMARY KEY (`id`, `ws_id`) USING BTREE;

创建分区

ALTER TABLE `mediaio_api`.`users` PARTITION BY HASH (ws_id)
PARTITIONS 191
;

排期计划

升级预算