写入性能
Paimon的写入性能与检查点密切相关，因此需要更大的写入吞吐量：
- 增加检查点间隔，或者仅使用批处理模式。
- 增加写入缓冲区大小。
- 启用写缓冲区溢出。
- 如果您使用固定存储桶模式，请重新调整存储桶数量。
1 并行度
建议sink的并行度小于等于bucket的数量，最好相等。
| 选项 | 必需的 | 默认 | 类型 | 描述 |
|---|---|---|---|---|
| sink.parallelism | No | (none) | Integer | 定义sink的并行度。默认情况下，并行度由框架使用上游链式运算符的相同并行度来确定。 |
2 Compaction
当Sorted Run数量较少时，Paimon writer将会在单独的线程中异步执行压缩，因此记录可以连续写入表中。然而，为了避免Sorted Runs的无限增长，当Sorted Run的数量达到阈值时，writer将不得不暂停写入。下表属性确定阈值。
| 选项 | 必需的 | 默认 | 类型 | 描述 |
|---|---|---|---|---|
| num-sorted-run.stop-trigger | No | (none) | Integer | 触发停止写入的Sorted Runs次数，默认值为 ‘num-sorted-run.compaction-trigger’ + 1。 |
- 当
num-sorted-run.stop-trigger变大时，写入停顿将变得不那么频繁，从而提高写入性能。 - 如果该值变得太大，则查询表时将需要更多内存和CPU时间。如果您担心内存 OOM，请配置
sort-spill-threshold。它的值取决于你的内存大小。
3 优先考虑写入吞吐量
如果希望某种模式具有最大写入吞吐量，则可以缓慢而不是匆忙地进行Compaction。可以对表使用以下策略：
num-sorted-run.stop-trigger = 2147483647
sort-spill-threshold = 10
此配置将在写入高峰期生成更多文件，并在写入低谷期逐渐合并到最佳读取性能。
4 触发Compaction的Sorted Run数
Paimon使用LSM树，支持大量更新。LSM在多次Sorted Runs中组织文件。从LSM树查询记录时，必须组合所有Sorted Runs以生成所有记录的完整视图。
过多的Sorted Run会导致查询性能不佳。为了将Sorted Run的数量保持在合理的范围内，Paimon writers将自动执行Compaction。下表属性确定触发Compaction的最小Sorted Run数。
| 选项 | 必需的 | 默认 | 类型 | 描述 |
|---|---|---|---|---|
| num-sorted-run.compaction-trigger | No | 5 | Integer | 触发Compaction的Sorted Run数。包括0级文件（一个文件一级排序运行）和高级运行（一个一级排序运行）。 |
5 写入初始化
在写入初始化时，bucket的writer需要读取所有历史文件。如果这里出现瓶颈（例如同时写入大量分区），可以使用 write-manifest-cache 缓存读取的manifest数据，以加速初始化。
6 内存
Paimon writer中主要占用内存的地方有3个：
- Writer的内存缓冲区，由单个任务的所有Writer共享和抢占。该内存值可以通过
write-buffer-size表属性进行调整。 - 合并多个Sorted Run以进行Compaction时会消耗内存。可以通过
num-sorted-run.compaction-trigger选项进行调整，以更改要合并的Sorted Run的数量。 - 如果行非常大，在进行Compaction时一次读取太多行数据可能会消耗大量内存。减少
read.batch-size选项可以减轻这种情况的影响。 - 写入列式（ORC、Parquet等）文件所消耗的内存，不可调。