研究学习3DGS的顺序

6 个核心基础模块

具体推荐学习内容（含路径）

1️⃣ 三维视觉基础

• ✅ 《Multiple View Geometry in Computer Vision》（可选读第1-4章）

• ✅ B站课程或CS231n关于3D场景、三角网格、点云等基础讲解

• ✅ 推荐关键词：三维重建、Structure-from-Motion (SfM)、点云(Point Cloud)、体素（Voxel）

2️⃣ CT成像与医学图像表示

• ✅ 学习 CT的物理原理：X射线、Hounsfield Units (HU)、切片间隔、3D Volume

• ✅ 学会查看CT图像格式：DICOM、.nii.gz、.mhd

• ✅ 推荐工具：

  • 3D Slicer（医学图像查看与可视化）

  • SimpleITK/PyTorch + nibabel（读取.nii等格式）

3️⃣ 3D Gaussian Splatting 相关原理

• ✅ 阅读论文：“3D Gaussian Splatting for Real-Time Radiance Field Rendering”（CVPR 2023）

• ✅ 跑通官方代码：https://github.com/graphdeco-inria/gaussian-splatting

• ✅ 理解核心概念：

  • 3D高斯点：位置、尺度、旋转、颜色、不透明度

  • Splatting渲染原理：光线穿过多个高斯点，按透明度融合

4️⃣ 深度学习基础与PyTorch

• ✅ 推荐学习路径：

  • 零基础看莫烦PyTorch教程（B站）

  • 用小项目（如猫狗分类）练习模型训练、损失函数、可视化

• ✅ 常用内容：

  • Dataset、DataLoader、model.forward

  • 损失函数（L1、MSE、Focal Loss）

  • 可视化（TensorBoard、matplotlib）

5️⃣ 渲染基础：体积渲染与透明度融合

• ✅ 学习Ray Marching原理（体素/场景渲染关键）

• ✅ 学习Alpha合成与光线累积规则（在3DGS中用于可视化）

• ✅ 可阅读论文/博客：

  • NeRF核心原理

  • “How NeRF Works”系列博客

• ✅ 推荐工具：

  • Open3D

  • Kaolin / PyTorch3D（Meta）

6️⃣ 3D医学数据处理与可视化

• ✅ 学习如何从 DICOM/NII 读取体积数据

• ✅ 掌握基本可视化：体绘制、MIP、切面分析

• ✅ 推荐工具：

  • SimpleITK / nibabel / monai（医学图像处理工具包）

  • 3D Slicer + Python脚本二次开发

✅ 已实现内部结构重建的核心研究

1. Volumetrically Consistent 3D Gaussian Rasterization

• 内容亮点：通过对3D高斯体积进行解析积分，实现物理一致的透明度（alpha）计算，直接用于CT/层析成像 （tomography）。

• 重点说明：作者指出该方法“直接用于CT成像”，并且在层析重建任务上达到或超越现有3DGS体方法 ruyi-zha.github.io+1arxiv.org+1jarxiv.com+6arxiv.org+6ruyi-zha.github.io+6。

2. R²‑Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

• 内容亮点：这是首个专注于稀疏视图X光/CT断层的3DGS框架，通过校正投影积分偏差，获得高质量体积重建，速度比 NeRF 快12倍 reddit.com+2arxiv.org+2link.springer.com+2。

• 明确实现：论文直接用于“X-ray computed tomography”，说明已经实现内部结构还原。

3. RayGauss: Volumetric Gaussian‑Based Ray Casting

• 内容亮点：引入体积光线投射机制，将高斯体作为可微、物理一致的体积渲染单元，适合处理内部密度与结构 arxiv.org+1ruyi-zha.github.io+1hub.baai.ac.cn。

• 实现方向：虽然聚焦于视角合成，但其“体积光线投射”机制是内部重建基础。

🔍 总结对比

📝 结论

• ✅ 已有人通过3篇关键论文证明了内部结构重建的可行性。

• ✅ 特别是 Volumetrically Consistent 3D Gaussian Rasterization 和 R²‑Gaussian，明确应用于CT/X光层析任务。

• ✅ 也就是说，这个方向已在少量但高质量研究中实现，你无需完全从零开创，而是在已有基础上推进。