3D高斯泼溅（3DGS）的核心重建流程：从多视角图像通过SfM（运动恢复结构）生成的稀疏点云出发，经过初始化转换为3D高斯分布，再通过相机投影和自适应密度控制（动态分裂/修剪高斯以优化几何细节），最终由可微分瓦片光栅化器实时渲染成高质量图像，且整个流程支持梯度反向传播（箭头方向），实现端到端的联合优化。
1. 核心思想
3DGS是一种显式的3D场景表示方法，将场景建模为数十万至数百万个可学习的3D高斯椭球（Gaussian ellipsoids），通过可微分光栅化实现实时渲染。其核心优势在于：
显式表示：直接操作高斯参数（位置、协方差、颜色等），区别于NeRF的隐式神经场。
实时性：CUDA加速的光栅化可达 100+ FPS（4K分辨率）。
可编辑性：直接修改高斯参数即可调整场景几何与外观。
2. 数学基础
(1) 3D高斯函数
每个高斯椭球由以下参数定义：
均值（中心位置）：μ∈R3
协方差矩阵：Σ∈R3×3（控制椭球形状和方向）
透明度：α∈[0,1]
球谐系数（SH）：控制视角依赖的颜色（RGB）
高斯函数形式：
(2) 协方差矩阵参数化
为保证正定性，协方差矩阵分解为：
R：旋转矩阵（由四元数表示，减少参数量）
S：对角缩放矩阵
3. 关键技术步骤
(1) 初始化
输入：多视角图像通过COLMAP/SfM生成稀疏点云。
高斯生成：每个点云点初始化为一个各向同性高斯（球状），后续优化调整形状。
(2) 可微分光栅化
投影变换：将3D高斯投影到2D图像平面，得到2D高斯分布：
其中 J为投影雅可比矩阵，W为视图变换矩阵。
像素着色：对每个像素，按深度排序混合重叠的高斯：
N为覆盖像素 p的高斯集合，ci为颜色。
(3) 优化目标
联合优化几何（μ,Σ）和外观（α,SH）参数：
Lcolor：渲染图像与真实图像的L1损失
LD-SSIM：结构相似性损失（保留高频细节）
Lopacity：稀疏性约束（剔除冗余高斯）
4. 与NeRF的关键区别
特性 |
3DGS |
NeRF |
|---|---|---|
表示形式 |
显式高斯椭球集合 |
隐式神经辐射场（MLP） |
渲染方式 |
可微分光栅化（类似传统图形学） |
体积渲染（射线步进采样） |
训练速度 |
5-30分钟（1080Ti） |
5-50小时（同硬件） |
编辑性 |
直接修改高斯参数 |
需网络微调或潜空间操作 |
动态场景支持 |
弱（需扩展为4D高斯） |
较强（通过时空MLP） |
5. 核心创新点
各向异性高斯建模：通过协方差矩阵控制椭球形状，适应复杂几何（如薄片、管状结构）。
梯度传播优化：通过可微分光栅化实现端到端训练，允许直接优化3D几何。
自适应密度控制：动态分裂/克隆/修剪高斯，平衡细节与效率（如图1）。
分裂：高方差区域的大高斯分裂为小高斯。
修剪：透明度过低的高斯被剔除。
6. 应用场景
实时渲染：游戏/VR中的动态光照场景（比传统Mesh更易处理复杂拓扑）。
场景编辑：直接拖动高斯点修改物体形状（如GaussianEditor）。
稀疏视图重建：仅需20-50张图像即可生成高质量3D模型。