[一]功能对比
Hudi |
Delta Lake |
Iceberg |
|
| 读写功能对比 | |||
ACID Transactions 我可以对列式文件进行版本控制和重写吗？ |
 |
 |
 |
Copy-On-Write 我可以在不重写整个文件的情况下高效地摊销更新吗？ |
|
|
|
Merge-On-Read 我可以高效地将初始加载布局到表中吗？ |
|
 |
功能有限，无法在查询性能与合并性能之间取得平衡。此外，还需要手动维护压缩操作。 |
高效的合并写入，支持记录级索引 （我可以避免将所有基础文件与所有传入的更新/删除记录进行合并吗？） |
|
|
|
引导启动 （我可以在不重写数据的情况下将数据就地升级到系统中吗？） |
|
|
|
托管数据摄取 （我可以从流行的来源摄取数据流，并且无需/低代码吗？） |
|
|
|
并发性 （我可以同时对表运行不同的写入器和表服务吗？） |
|
 |
|
主键 （我可以像在常规数据库表中一样定义主键吗？） |
|
|
|
列统计与数据跳过 （查询是否可以基于任何列的谓词获益于文件修剪，而无需读取数据文件的页脚？） |
|
|
|
基于内置函数的数据跳过 （查询是否可以基于定义在列值上的函数进行数据跳过，除了字面上的列值之外？） |
|
|
|
分区演进 （我可以在使用过程中持续更改表的分区结构吗？） |
|
|
|
数据去重 （我可以在插入数据时不引入重复项吗？） |
|
|
|
| 表服务 | |||
文件大小配置 （我可以配置一个单一的标准文件大小，以在任何写入表时自动强制执行吗？） |
|
|
|
压缩 （可以将来自 MoR 写入的更新/删除与变更日志合并吗？） |
|
|
|
清理 （旧版本的文件会自动从存储中移除吗？） |
|
|
|
索引管理 （我可以在表上创建新的索引吗？） |
|
|
|
线性聚类 （我可以线性地将某些数据靠近存放以提高性能吗？） |
|
|
|
| 多维 Z-Order/空间曲线聚类（我可以使用空间曲线对高基数数据进行排序以提高性能吗？ | |
|
|
模式演进 （我可以调整我的表的模式吗？） |
|
|
|
可扩展的元数据管理 （表的元数据能够随着数据规模的增长而扩展吗？） |
|
|
|
| 平台支持 | |||
客户端 我可以使用命令行界面（CLI）来管理我的表格吗？ |
|
|
|
数据质量验证 （我可以定义要检查和执行的质量条件吗？） |
|
|
|
预提交转换器 （我可以在写入时对数据进行提交前的转换吗？） |
|
|
|
提交通知 （我能在提交成功时收到回调通知吗？） |
|
|
|
失败提交保护 （我如何避免部分写入和失败写入操作的影响？） |
|
|
|
监控 （我可以直接获取指标和监控功能吗？） |
|
|
|
保存点和恢复 （我可以保存数据的快照，然后将表恢复到该状态吗？） |
|
|
|
| 支持的平台 | |||
Apache Spark |
|||
Apache Flink |
|||
Presto |
|||
Trino |
|||
Hive |
|||
DBT |
|
||
Kafka Connect |
|
|
|
Kafka |
|
||
Pulsar |
|||
Debezium |
|||
Kyuubi |
|
||
ClickHouse |
|
||
Apache Impala |
|
||
AWS Athena |
|||
AWS EMR |
|||
AWS Redshift |
|
||
AWS Glue |
|||
Google BigQuery |
|
||
Google DataProc |
|||
Azure Synapse |
|
||
Azure HDInsight |
|
||
Databricks |
|||
Snowflake |
|
||
Vertica |
|
||
Apache Doris |
|
||
Starrocks |
|||
Dremio |
|
||
