基于xxl-job的分片实现分库分表后的扫表

在使用 XXL-JOB 实现分库分表后的“扫表”任务时，通常需要结合 任务分片机制 和 分库分表逻辑 来实现高效、并行的数据处理。以下是基于 XXL-JOB 的分片机制实现分库分表扫表的完整方案。

一、背景说明

1.1 什么是分库分表？

• 分库分表是数据库水平拆分的一种方式，用于解决单库/单表性能瓶颈。
• 常见的分法包括：
  • 按用户 ID 分库（如 user_0 ~ user_3）
  • 按订单 ID 分表（如 order_0 ~ order_7）

1.2 什么是扫表任务？

• 扫表任务指的是：对所有分库分表中的数据进行扫描处理，比如：
  • 数据统计
  • 数据迁移
  • 数据清理
  • 数据修复

二、XXL-JOB 分片机制简介

XXL-JOB 支持任务分片（Sharding），通过 ShardingUtil 可以获取当前分片参数：

int index = ShardingUtil.getShardingVo().getIndex(); // 当前分片索引
int total = ShardingUtil.getShardingVo().getTotal(); // 总分片数

• 任务调度器会根据配置的分片总数，将任务并发执行。
• 每个分片实例处理自己负责的数据。

三、实现思路

3.1 总体设计

3.2 分片策略

示例场景：

• 分库：user_db_0 ~ user_db_3（共 4 个库）
• 分表：user_0 ~ user_7（共 8 张表）

总数据分片数 = 分库数 × 分表数 = 4 × 8 = 32

分片逻辑：

// 假设总分片数为 32
int totalSharding = 32;

// 获取当前分片信息
ShardingUtil.ShardingVo shardingVo = ShardingUtil.getShardingVo();
int index = shardingVo.getIndex(); // 当前分片索引（0 ~ 31）
int total = shardingVo.getTotal(); // 总分片数（必须配置为 32）

// 根据当前分片号，计算对应的库和表编号
int dbIndex = index / 8; // 8张表/库
int tbIndex = index % 8;

// 构建动态数据源和表名
String dbName = "user_db_" + dbIndex;
String tableName = "user_" + tbIndex;

// 执行扫表逻辑
executeScan(dbName, tableName);

四、XXL-JOB 任务配置

4.1 配置任务参数

• Glue类型：Bean模式（Java）
• JobHandler：自定义任务处理器
• 调度参数：
  • shardingTotalCount：总分片数（如 32）
  • failRetryCount：失败重试次数

4.2 示例 JobHandler 代码

@JobHandler(value = "scanUserTablesJobHandler")
@Component
public class ScanUserTablesJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(TriggerParam triggerParam) throws Exception {
        ShardingUtil.ShardingVo shardingVo = ShardingUtil.getShardingVo();
        int index = shardingVo.getIndex();
        int total = shardingVo.getTotal();

        int dbCount = 4;
        int tbCount = 8;

        int dbIndex = index / tbCount;
        int tbIndex = index % tbCount;

        String dbName = "user_db_" + dbIndex;
        String tableName = "user_" + tbIndex;

        // 切换数据源（根据实际使用的多数据源框架，如 Dynamic-Datasource）
        DynamicDataSourceContextHolder.push(dbName);

        try {
            List<User> users = userMapper.scanAll(tableName);
            processUsers(users);
            return SUCCESS;
        } finally {
            DynamicDataSourceContextHolder.poll();
        }
    }

    private void processUsers(List<User> users) {
        // 实际业务逻辑：统计、处理、清洗等
    }
}

五、注意事项

5.1 数据源切换

• 使用如 dynamic-datasource-spring-boot-starter 可以方便实现动态切换数据源。
• 需要为每个分库配置一个数据源。

5.2 表名动态化

• SQL 中的表名不能写死，需动态拼接：

  SELECT * FROM ${tableName}
  

• 注意 SQL 注入风险，建议使用白名单校验表名。

5.3 分片数与分库分表数匹配

• XXL-JOB 的 shardingTotalCount 必须等于分库数 × 分表数，否则无法均匀分配。

5.4 并发与资源控制

• 控制并发数，避免数据库连接池被打满。
• 可通过任务调度器的并发配置或线程池控制。

六、进阶优化建议

七、总结

如果你有具体的分库分表规则（如按时间、按ID哈希等），也可以根据实际逻辑调整分片策略。