亲爱的社区小伙伴们,Apache Doris 3.0.6 版本已于 2025 年 06 月 16 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
行为变更
- 禁止 Unique 表使用时序 Compaction
- 存算分离场景下 Auto Bucket 单分桶容量调整为 10GB
新特性
Lakehouse
- 支持访问 AWS S3 Table Buckets 中的 Iceberg 表格式
存储
- 对象存储访问支持 IAM Role 授权 适用于导入/导出、备份恢复及存算分离场景
- 详情请参考文档
新增函数
json_extract_no_quotes
- 详情请参考文档
unhex_null
- 详情请参考文档
xpath_string
- 详情请参考文档
str_to_map
- 详情请参考文档
months_between
- 详情请参考文档
next_day
- 详情请参考文档
format_round
- 详情请参考文档
改进
导入
- 引入黑名单机制:避免 Routine Load 将元信息分发至不可用 BE 节点
- 提高负载优先级阈值:
load_task_high_priority_threshold_second
默认值增大
主键模型
- 减少冗余日志输出
存储优化
- 精简 Compaction Profile 及日志
- 优化调度策略提升 Compaction 吞吐量
存算分离
- 启动优化:加速 File Cache 初始化
- 查询加速:优化 File Cache 查询性能
- 元数据获取优化:解决
get_version
导致的性能瓶颈 - 对象回收加速:提升存算分离模式垃圾回收效率
- 稳定性提升:优化对象存储重试策略
- Profile 细化:增强 Tablet/Segment Footer 维度统计
- Schema Change 容错:默认启用 New Tablet Compaction 规避 -230 错误
Lakehouse
Catalog 增强
- Hive Catalog 支持分区缓存 TTL 控制(
partition.cache.ttl-second
)- 详情参考文档:元数据缓存
- 支持 Hive 表
skip.header.line.count
属性 - 兼容
org.openx.data.jsonserde.JsonSerDe
格式的 Hive 表- 详情参考文档:文本格式
- Paimon 版本升级至 1.0.1
- Iceberg 版本升级至 1.6.1
功能扩展
- 支持阿里云 OSS-HDFS Root Policy 功能
- 方言兼容:返回 Hive 格式查询结果
- 详情参考文档:SQL 转换器
异步物化视图
- 内存优化:降低透明改写内存占用
查询优化器
- 分桶剪枝性能提升
- Lambda 表达式增强:支持引用闭包外部 Slot
查询执行
- TopN 查询加速:优化存算分离场景性能
- 函数扩展:
substring_index
支持变量参数 - 地理信息函数:新增
ST_CONTAINS
/ST_INTERSECTS
/ST_TOUCHES
/ST_DISJOINT
核心组件
- 内存追踪优化:高并发场景性能提升约 10%
- 审计日志增强:通过
audit_plugin_max_insert_stmt_length
限制 INSERT 语句长度- 详情请参考文档:审计插件
- SQL 转换器控制:新增会话变量
sql_convertor_config
和enable_sql_convertor_features
- 详情请参考文档:SQL 转换器
缺陷修复
导入
- 修复 BE 事务清理失败问题
- 优化 Routine Load 任务报错准确性
- 禁止向
disable_load=true
节点分发元信息任务 - 修复 FE 重启后消费进度回退
- 修复 Group Commit 与 Schema Change 冲突导致的 Core Dump
- 解决 S3 Load 使用 HTTPS 协议报错
主键模型
- 修复竞争导致的主键重复问题
存储
- 解决 CCR 与磁盘均衡竞争
- 修复默认分区 Key 未持久化问题
- CCR 支持 Rollup 表
- 修复
cooldown_ttl=0
边界问题 - 解决数据 GC 与 Publish 竞争导致数据丢失
- 修复 Delete Job 分区剪枝失效
存算分离
- 修复 Schema Change 阻塞 Compaction
- 解决
storage_vault_prefix
为空时对象回收失败 - 修复 Tablet Cache 导致的查询性能问题
- 消除残留 Tablet Cache 引起的性能抖动
Lakehouse
Export 修复
- 解决 FE 内存泄漏
- 避免 FE 死锁
Catalog 修复
- JDBC Catalog 支持组合条件下推
- 修复阿里云 OSS Paimon 表 Deletion Vector 读取
- 支持含逗号的 Hive 表分区值
- 修正 MaxCompute Timestamp 列类型解析
- Trino Catalog 支持显示
information_schema
系统表
文件格式
- 修复 LZO 压缩格式读取失败
- 兼容旧版 ORC 文件
- 修正 ORC 复杂类型解析错误
异步物化视图
- 修复同时指定
start time
与立即触发模式时的少刷新问题
查询优化器
- 修复 Lambda 表达式改写错误
- 解决 Group By 常量键规划失败
- 修正常量折叠逻辑
- 补全系统表信息
- 修复 NULL Literal 创建 View 的列类型错误
查询执行
- 解决 JSON 导入非法值导致 BE Core
- 修复 Intersect 输入 NULL 常量结果错误
- 修正 Variant 类型谓词错误执行
- 修复
get_json_string
JSON Path 非法时的结果错误 - 对齐 MySQL 函数行为(JSON_REPLACE/INSERT/SET/ARRAY)
- 解决
array_map
空参数 Core - 修复 Variant 转 JSONB 异常 Core
- 修复
explode_json_array_json_outer
函数缺失 - 对齐
percentile
与percentile_array
结果 - 优化 UTF8 编码函数行为(url_encode/strright/append_trail_char_if_absent)
其他
- 修复高并发下审计日志丢失
- 解决动态分区建表导致元数据回放失败
- 避免 Global UDF 重启丢失
- 对齐 MySQL View 元数据返回格式