时序数据库全景指南：从场景选型到内核拆解

1. 什么是时序数据

时序数据（Time-Series Data） 是在时间上连续产生、且带有时间戳的观测值序列，典型特征：

示例：
cpu.usage{host=web01,region=bj} 2025-08-27 14:00:00 42.3

2. 时序数据库 vs 通用数据库

3. 适用场景与真实案例

4. 产品地图

4.1 开源

4.2 商业 & 云托管

• AWS Timestream、Azure Data Explorer、Google Cloud Bigtable + MDS
• InfluxDB Cloud、Timescale Cloud、Kdb+（高频交易）

5. 核心功能清单

6. 技术原理六层拆解

6.1 数据模型

┌---------┬-----------┬----------┐
│ timestamp  │  value(float/int) │  tags(map[string]string) │
└---------┴-----------┴----------┘

• Series Key = measurement + tag set（字典序）
• Point = Series Key + timestamp + value

6.2 写入路径

Client → Line Protocol → HTTP → WAL → MemTable → Immutable → SSTable(TSM/Chunk)

• WAL 顺序写，刷盘前宕机可重放
• MemTable 按 Series+Time 排序，刷盘后生成只读块

6.3 存储格式（以 InfluxDB TSM 为例）

┌-------┬--------┬--------┐
│ Header │ Index Block │ Data Block │
└-------┴--------┴--------┘

• Index Block：Series → Offset 映射，二分查找
• Data Block：列式存储，timestamp & value 分开压缩
  • 时间戳：Delta-Delta + RLE
  • float：XOR (Gorilla)
  • string：Snappy

6.4 倒排索引

• Tag → SeriesID List（类似 ES）
• 支持 AND / OR / NOT 组合
• 内存结构：Roaring Bitmap 压缩
• 持久化：TSI 文件，重启 mmap 恢复

6.5 查询执行

1. Parse → Logical Plan
2. 根据 time range 过滤 Chunk
3. 根据 tag 过滤 Series
4. 并行扫描 → 预聚合
5. Merge → 排序 → 返回

• 预聚合（Continuous Aggregate）
  CREATE MATERIALIZED VIEW ... WITH (timescaledb.continuous)
  每 1 min 自动更新 1 min 均值，查询直接命中物化表。

6.6 压缩与降采样

• Gorilla：1.37 byte/point（官方论文）
• ZSTD：适合字符串 tag
• 降级策略：
  原始 1 s → 5 min 均值 → 1 h 均值 → 1 d 均值 → 归档 S3 → Glacier

7. 性能调优与最佳实践

• influxdb_disk_bytes
• vms_memory_usage
• query_duration_seconds |

案例：某直播公司

• 800 万 Series、200 万点/秒
• 单机 InfluxDB → 改为 VictoriaMetrics Cluster（3 存储 + 2 插入 + 2 查询）
• QPS ↑ 5×，磁盘 ↓ 60 %，P99 查询延迟从 2 s → 120 ms。

8. 未来趋势与总结

1. Serverless + 对象存储：冷热分层到极致（Snowflake 模式）
2. AI4DB：自适应压缩、索引推荐
3. 流批一体：Flink + 时序库 → 实时降采样、异常检测
4. 边缘协同：TDengine / IoTDB 边云同步，断网缓存
5. 统一协议：OpenTelemetry、Arrow Flight SQL 成为事实标准

一句话总结

时序数据库用“顺序写、列式存、倒排索引、压缩算法、预聚合”五板斧，把“时间”这一维度变成了最大的性能红利；在 IoT、监控、金融等高并发场景，它是让“数据产生价值”的加速器，而不是简单的“又一个数据库”。