MyBatis-Plus通用中等、大量数据分批查询和处理

函数式接口

获取分页数据接口

主要用于获取数据

import com.baomidou.mybatisplus.extension.plugins.pagination.Page;

@FunctionalInterface
public interface MyBatisPlusPageFunctionInterface<T> {

    Page<T> selectPage(Page<T> page);

}

数据处理接口

import java.util.List;

@FunctionalInterface
public interface MyBatisPlusFunctionInterface<T> {

    void execute(List<T> tList);

}

通用逻辑工具类

用于执行分页数据接口实现和数据处理接口实现逻辑

import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
import org.springframework.util.Assert;
import org.springframework.util.CollectionUtils;

import java.util.List;

/**
 * MyBatis-Plus 工具类
 */
public final class MyBatisPlusUtils {
    public static final int DEFAULT_PAGE_SIZE_INT = 1000;
    public static final long DEFAULT_PAGE_SIZE = 1000L;

    private MyBatisPlusUtils() {

    }

    /**
     * 无条件分页查询N条（N由调用方决定）
     *
     * @param extendsBaseMapperClass       继承了BaseMapper的Mapper接口
     * @param myBatisPlusFunctionInterface 业务逻辑
     */
    public static <T> void findByPage(BaseMapper<T> extendsBaseMapperClass, long pageSize, MyBatisPlusFunctionInterface<T> myBatisPlusFunctionInterface) {
        findByPage(extendsBaseMapperClass, null, pageSize, myBatisPlusFunctionInterface);
    }

    /**
     * 无条件分页查询（默认每次取1000条，直到取完为止）
     *
     * @param extendsBaseMapperClass       继承了BaseMapper的Mapper接口
     * @param myBatisPlusFunctionInterface 业务逻辑
     */
    public static <T> void findByPage(BaseMapper<T> extendsBaseMapperClass, MyBatisPlusFunctionInterface<T> myBatisPlusFunctionInterface) {
        findByPage(extendsBaseMapperClass, null, DEFAULT_PAGE_SIZE, myBatisPlusFunctionInterface);
    }

    /**
     * 有条件分页查询（默认每次取1000条，直到取完为止）
     *
     * @param extendsBaseMapperClass       继承了BaseMapper的Mapper接口
     * @param myBatisPlusFunctionInterface 业务逻辑
     */
    public static <T> void findByPage(BaseMapper<T> extendsBaseMapperClass, LambdaQueryWrapper<T> lambdaQueryWrapper, MyBatisPlusFunctionInterface<T> myBatisPlusFunctionInterface) {
        findByPage(extendsBaseMapperClass, lambdaQueryWrapper, DEFAULT_PAGE_SIZE, myBatisPlusFunctionInterface);
    }

    /**
     * 后端分页查询所有数据
     *
     * @param extendsBaseMapperClass       继承了BaseMapper的Mapper接口
     * @param myBatisPlusFunctionInterface 业务逻辑
     */
    public static <T> void findByPage(BaseMapper<T> extendsBaseMapperClass, LambdaQueryWrapper<T> lambdaQueryWrapper, long pageSize, MyBatisPlusFunctionInterface<T> myBatisPlusFunctionInterface) {
        findByPage((Page<T> page) -> extendsBaseMapperClass.selectPage(page, lambdaQueryWrapper), pageSize, myBatisPlusFunctionInterface);
    }

    /**
     * 通用分页查询方法
     *
     * @param functionInterface            获取分页数据的方法
     * @param pageSize                     每次获取的数据量
     * @param myBatisPlusFunctionInterface 对获取的分页数据进行处理
     */
    public static <T> void findByPage(MyBatisPlusPageFunctionInterface<T> functionInterface, long pageSize, MyBatisPlusFunctionInterface<T> myBatisPlusFunctionInterface) {
        // 参数校验
        Assert.isTrue(pageSize > 0, "每页大小必须大于 0");
        Assert.notNull(myBatisPlusFunctionInterface, "数据处理逻辑不能为 null");
        int currentPage = 1;
        while (true) {
            Page<T> tPage = functionInterface.selectPage(Page.of(currentPage, pageSize));
            long pages = tPage.getPages();
            List<T> records = tPage.getRecords();
            //数据为空
            if (CollectionUtils.isEmpty(records)) {
                return;
            }

            // 业务逻辑
            myBatisPlusFunctionInterface.execute(records);
            //最后一页
            if (pages <= currentPage) {
                return;
            }
            currentPage++;
        }
    }

}

使用方法

简单查询

			//批量获取全部数据，没设置一次取几条数据，这里默认取1000条。
            MyBatisPlusUtils.findByPage(XXXMapper,//简单查询继承了BaseMapper的Mapper
                    new LambdaQueryWrapper<DataBaseEntity>().isNull(DataBaseEntity::getName)
                    ,//简单查询mapper的条件
                    records -> {//处理分页查询出来的数据，如果有多次分页，则进行多次处理。比如有2页，则下面的方法会执行2次。
                        List<DataBaseEntity> l = new ArrayList<>(MyBatisPlusUtils.DEFAULT_PAGE_SIZE_INT);
                        //遍历处理这一批次的数据
                        for (DataBaseEntity record : records) {
                            //处理查询到的数据
                        }
					}
			});

自定义查询方法

			//自定义查询方法
			MyBatisPlusUtils.findByPage(
                    (Page<HiBdSrvtmpMedOrd> page) -> {
                        //对传入的数据进行处理
                        String param2 = dto.getParam2() + dto.getParam3();
                        return hiBdSrvtmpMedOrdMapper.findPage(page, param2);//使用自定义的分页方法，并且分页参数可以不固定，需要多少个都行。
                    },//使用自定义的分页方法
                    2000L,//一次取2000条数据
                    records -> {
                        //遍历处理这一批次的数据
                        for (HiBdSrvtmpMedOrd record : records) {
                            //处理查询到的数据
                        }
                    }
            );

总结

上面提供的方式对于初学者或者没有系统了解过JAVA8的函数式接口、lambda表达式、匿名函数等新特性的人，理解起来是非常抽象、不好理解的，但是正因为代码抽象，所以功能才更强大！
还有其它组合使用方式没有一一列举出来，大家可以自行尝试使用和扩展。
有些功能没有考虑在内，比如：分批提交的事务问题、没有使用批处理模式（ExecutorType.BATCH）、使用 Cursor进行流式查询（适用于大数据量）、多线程处理（代码会更复杂，而且我也没有想过通用这方面的代码，这方面单独的代码会更合适）
有更好的办法，欢迎留言，谢谢。