Apache Doris 3.0.6 版本正式发布

发布于:2025-06-21 ⋅ 阅读:(14) ⋅ 点赞:(0)

亲爱的社区小伙伴们,Apache Doris 3.0.6 版本已于 2025 年 06 月 16 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

行为变更

  • 禁止 Unique 表使用时序 Compaction
  • 存算分离场景下 Auto Bucket 单分桶容量调整为 10GB

新特性

Lakehouse

存储

  • 对象存储访问支持 IAM Role 授权 适用于导入/导出、备份恢复及存算分离场景

新增函数

  • json_extract_no_quotes
  • unhex_null
  • xpath_string
  • str_to_map
  • months_between
  • next_day
  • format_round

改进

导入

  • 引入黑名单机制:避免 Routine Load 将元信息分发至不可用 BE 节点
  • 提高负载优先级阈值load_task_high_priority_threshold_second 默认值增大

主键模型

  • 减少冗余日志输出

存储优化

  • 精简 Compaction Profile 及日志
  • 优化调度策略提升 Compaction 吞吐量

存算分离

  • 启动优化:加速 File Cache 初始化
  • 查询加速:优化 File Cache 查询性能
  • 元数据获取优化:解决 get_version 导致的性能瓶颈
  • 对象回收加速:提升存算分离模式垃圾回收效率
  • 稳定性提升:优化对象存储重试策略
  • Profile 细化:增强 Tablet/Segment Footer 维度统计
  • Schema Change 容错:默认启用 New Tablet Compaction 规避 -230 错误

Lakehouse

Catalog 增强
  • Hive Catalog 支持分区缓存 TTL 控制(partition.cache.ttl-second
  • 支持 Hive 表 skip.header.line.count 属性
  • 兼容 org.openx.data.jsonserde.JsonSerDe 格式的 Hive 表
  • Paimon 版本升级至 1.0.1
  • Iceberg 版本升级至 1.6.1
功能扩展
  • 支持阿里云 OSS-HDFS Root Policy 功能
  • 方言兼容:返回 Hive 格式查询结果

异步物化视图

  • 内存优化:降低透明改写内存占用

查询优化器

  • 分桶剪枝性能提升
  • Lambda 表达式增强:支持引用闭包外部 Slot

查询执行

  • TopN 查询加速:优化存算分离场景性能
  • 函数扩展substring_index 支持变量参数
  • 地理信息函数:新增 ST_CONTAINS/ST_INTERSECTS/ST_TOUCHES/ST_DISJOINT

核心组件

  • 内存追踪优化:高并发场景性能提升约 10%
  • 审计日志增强:通过 audit_plugin_max_insert_stmt_length 限制 INSERT 语句长度
  • SQL 转换器控制:新增会话变量 sql_convertor_configenable_sql_convertor_features

缺陷修复

导入

  • 修复 BE 事务清理失败问题
  • 优化 Routine Load 任务报错准确性
  • 禁止向 disable_load=true 节点分发元信息任务
  • 修复 FE 重启后消费进度回退
  • 修复 Group Commit 与 Schema Change 冲突导致的 Core Dump
  • 解决 S3 Load 使用 HTTPS 协议报错

主键模型

  • 修复竞争导致的主键重复问题

存储

  • 解决 CCR 与磁盘均衡竞争
  • 修复默认分区 Key 未持久化问题
  • CCR 支持 Rollup 表
  • 修复 cooldown_ttl=0 边界问题
  • 解决数据 GC 与 Publish 竞争导致数据丢失
  • 修复 Delete Job 分区剪枝失效

存算分离

  • 修复 Schema Change 阻塞 Compaction
  • 解决 storage_vault_prefix 为空时对象回收失败
  • 修复 Tablet Cache 导致的查询性能问题
  • 消除残留 Tablet Cache 引起的性能抖动

Lakehouse

Export 修复
  • 解决 FE 内存泄漏
  • 避免 FE 死锁
Catalog 修复
  • JDBC Catalog 支持组合条件下推
  • 修复阿里云 OSS Paimon 表 Deletion Vector 读取
  • 支持含逗号的 Hive 表分区值
  • 修正 MaxCompute Timestamp 列类型解析
  • Trino Catalog 支持显示 information_schema 系统表
文件格式
  • 修复 LZO 压缩格式读取失败
  • 兼容旧版 ORC 文件
  • 修正 ORC 复杂类型解析错误

异步物化视图

  • 修复同时指定 start time 与立即触发模式时的少刷新问题

查询优化器

  • 修复 Lambda 表达式改写错误
  • 解决 Group By 常量键规划失败
  • 修正常量折叠逻辑
  • 补全系统表信息
  • 修复 NULL Literal 创建 View 的列类型错误

查询执行

  • 解决 JSON 导入非法值导致 BE Core
  • 修复 Intersect 输入 NULL 常量结果错误
  • 修正 Variant 类型谓词错误执行
  • 修复 get_json_string JSON Path 非法时的结果错误
  • 对齐 MySQL 函数行为(JSON_REPLACE/INSERT/SET/ARRAY)
  • 解决 array_map 空参数 Core
  • 修复 Variant 转 JSONB 异常 Core
  • 修复 explode_json_array_json_outer 函数缺失
  • 对齐 percentilepercentile_array 结果
  • 优化 UTF8 编码函数行为(url_encode/strright/append_trail_char_if_absent)

其他

  • 修复高并发下审计日志丢失
  • 解决动态分区建表导致元数据回放失败
  • 避免 Global UDF 重启丢失
  • 对齐 MySQL View 元数据返回格式

网站公告

今日签到

点亮在社区的每一天
去签到