目录
- 3D Gaussian splatting 01: 环境搭建
- 3D Gaussian splatting 02: 快速评估
- 3D Gaussian splatting 03: 用户数据训练和结果查看
- 3D Gaussian splatting 04: 代码阅读-提取相机位姿和稀疏点云
- 3D Gaussian splatting 05: 代码阅读-训练整体流程
- 3D Gaussian splatting 06: 代码阅读-训练参数
- 3D Gaussian splatting 07: 代码阅读-训练载入数据和保存结果
- 3D Gaussian splatting 08: 代码阅读-渲染
训练参数
训练程序入参除了训练过程参数, 另外设置了ModelParams, OptimizationParams, PipelineParams三个参数组, 分别控制数据加载、渲染计算和优化训练环节, 这些参数类共同构成3D高斯渲染模型的核心配置. 在项目的 README.md 中有大部分参数的说明.
以下在注释中标出主要参数的含义
训练过程参数
# Set up command line argument parser
parser = ArgumentParser(description="Training script parameters")
# 模型相关参数
lp = ModelParams(parser)
op = OptimizationParams(parser)
pp = PipelineParams(parser)
# 用于连接到训练过程的IP
parser.add_argument('--ip', type=str, default="127.0.0.1")
# 用于连接到训练过程的端口
parser.add_argument('--port', type=int, default=6009)
# 因为debug影响速度, 通过这个参数可以指定从哪个迭代开始启用 debug.
parser.add_argument('--debug_from', type=int, default=-1)
parser.add_argument('--detect_anomaly', action='store_true', default=False)
# 在哪些迭代上, 对整个数据集计算 L1 和 PSNR
parser.add_argument("--test_iterations", nargs="+", type=int, default=[7_000, 30_000])
# 在哪些迭代上保存高斯模型
parser.add_argument("--save_iterations", nargs="+", type=int, default=[7_000, 30_000])
# 过程不往屏幕输出
parser.add_argument("--quiet", action="store_true")
# 不启动网络 GUI server
parser.add_argument('--disable_viewer', action='store_true', default=False)
# 在哪些迭代上保存 checkpoint, 以便将来继续训练
parser.add_argument("--checkpoint_iterations", nargs="+", type=int, default=[])
# 指定保存了 checkpoint 的路径, 用于继续训练
parser.add_argument("--start_checkpoint", type=str, default = None)
args = parser.parse_args(sys.argv[1:])
模型参数
class ModelParams(ParamGroup):
def __init__(self, parser, sentinel=False):
# 球谐函数的最大阶数, 在创建 GaussianModel 时, 赋给 max_sh_degree
self.sh_degree = 3
# 数据源路径, 即convert.py的工作目录, 目录下有提取相机位姿和稀疏点云后产生的 images, sparse 这些子目录
self._source_path = ""
# 模型保存路径, 为空时会在output目录下创建随机目录
self._model_path = ""
# 图像目录名
self._images = "images"
# 深度图目录
self._depths = ""
# 图像分辨率, 指定分辨率, 1:原始分辨率, 2:1/2, 4:1/4, 8:1/8
self._resolution = -1
# 是否使用白色背景
self._white_background = False
# 训练/测试实验标志
self.train_test_exp = False
# 指定存储图像数据的设备, 默认是cuda, 但是如果图像数据较多, 分辨率高, 改成cpu可以节省VRAM消耗, 相应的会影响训练速度
self.data_device = "cuda"
# 评估模式标志
self.eval = False
super().__init__(parser, "Loading Parameters", sentinel)
渲染管线参数
class PipelineParams(ParamGroup):
def __init__(self, parser):
# 使用 Pytorch (而不是项目定义的前向和后向传播函数) 处理球谐函数
self.convert_SHs_python = False
# 使用 Pytorch (而不是项目定义的前向和后向传播函数) 计算3D协方差
self.compute_cov3D_python = False
# 调试模式, 当 rasterizer 失败时会生成 dump 文件.
self.debug = False
# 抗锯齿开关
self.antialiasing = False
super().__init__(parser, "Pipeline Parameters")
训练过程优化参数
class OptimizationParams(ParamGroup):
def __init__(self, parser):
# 总迭代次数, 默认30000
self.iterations = 30_000
# 3D位置学习率初始值
self.position_lr_init = 0.00016
# 3D位置学习率最终值
self.position_lr_final = 0.0000016
# 位置学习率乘数
self.position_lr_delay_mult = 0.01
# 3D位置学习率从 initial 衰减至 final 所需的步数(从0开始), 默认 30000
self.position_lr_max_steps = 30_000
# 球谐特征量学习率
self.feature_lr = 0.0025
# 透明度学习率
self.opacity_lr = 0.025
# 缩放参数学习率
self.scaling_lr = 0.005
# 旋转参数学习率
self.rotation_lr = 0.001
# 曝光度参数学习率初始值, 最终值, 步数等
self.exposure_lr_init = 0.01
self.exposure_lr_final = 0.001
self.exposure_lr_delay_steps = 0
self.exposure_lr_delay_mult = 0.0
# 触发强制增密的场景空间占比阈值(范围0到1), 默认 0.01
self.percent_dense = 0.01
# SSIM在总损失函数中的权重系数
self.lambda_dssim = 0.2
# 点云密集化的执行间隔, 默认每100次迭代执行一次
self.densification_interval = 100
# 不透明度重置频率
self.opacity_reset_interval = 3000
# 开始执行点云密集化的迭代次数
self.densify_from_iter = 500
# 停止执行点云密集化的迭代次数
self.densify_until_iter = 15_000
# 基于2D位置梯度判断是否增密点的阈值
self.densify_grad_threshold = 0.0002
self.depth_l1_weight_init = 1.0
self.depth_l1_weight_final = 0.01
# 随机背景
self.random_background = False
# 优化器类型
self.optimizer_type = "default"
super().__init__(parser, "Optimization Parameters")