elasticsearch segment数量对读写性能的影响

index.merge.policy.segments_per_tier 是一个配置选项，用于控制 Elasticsearch 中段（segment）合并策略的行为。它定义了在每一层的段合并过程中，允许存在的最大段数量。调整这个参数可以优化索引性能和资源使用。

假设你有一个索引 my_index，你可以通过以下方式调整 segments_per_tier 配置：

PUT /my_index/_settings
{
  "settings": {
    "index.merge.policy.segments_per_tier": 10  // 设置每层的最大段数为 10
  }
}

• segments_per_tier：这是段合并策略中的一个参数，它控制每一层段合并时允许存在的最大段数。当段数量超过这个阈值时，Elasticsearch 会尝试将这些段合并成更少的段。
• 默认值：通常，默认值是 10，表示每层最多允许存在 10 个段。

使用场景

• 高写入速率场景：如果你的索引写入速率很高，调整 segments_per_tier 可以帮助控制段的数量，减少段合并的频率，从而提高性能。
• 查询优化：在某些查询密集的场景中，适当调整段合并策略可以优化查询性能，因为较少的段数可以减少查询时需要访问的段数量。

其他相关配置

除了 segments_per_tier，还有其他相关的配置选项可以进一步优化段合并策略：

• index.merge.policy.max_merge_at_once：一次合并的最大段数。
• index.merge.policy.max_merged_segment：单个合并段的最大大小。
• index.merge.policy.floor_segment：最小段大小。

PUT /my_index/_settings
{
  "settings": {
    "index.merge.policy.segments_per_tier": 10,        // 每层的最大段数
    "index.merge.policy.max_merge_at_once": 5,        // 一次合并的最大段数
    "index.merge.policy.max_merged_segment": "5gb",   // 单个合并段的最大大小
    "index.merge.policy.floor_segment": "2mb"         // 最小段大小
  }
}

合并过程示例

假设 segments_per_tier 被设置为 10，以下是段合并的示例：

1. 第一层（Tier 0）：

   • 初始写入操作会创建新的段，这些段首先位于第一层（Tier 0）。
   • 当第一层的段数量超过 10 时（例如有 11 个段），Elasticsearch 会开始合并这些段，将它们合并成一个新的段，并将其移动到更高一层（Tier 1）。

2. 第二层（Tier 1）：

   • 合并后的段现在位于第二层（Tier 1）。
   • 第二层的段数量限制同样是 10，当第二层的段数量超过 10 时，再次触发合并，将这些段合并成更大的段，并将其移动到更高一层（Tier 2）。

3. 依次类推：

   • 这个过程会一直持续，每一层中的段数量超过 segments_per_tier 时，都会触发合并操作，将段移动到更高的层级，形成更大的段。