1、NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections
中文标题:NeRF投射:具有一致反射的改进视角依赖外观
简介:最近的研究在NeRF渲染远处环境照明细节反射方面取得了进步,但仍无法有效合成近处物体的一致反射。同时,这些技术依赖于大型和计算开销高的神经网络模型来模拟出射辐射,这严重限制了优化和渲染的速度。
我们提出了一种基于光线追踪的新方法来解决这些问题。我们的模型会从每个相机射线上的点投射反射光线,并通过NeRF表示跟踪这些光线,然后使用小型廉价的网络将特征向量解码为最终颜色。
与之前的方法相比,我们的模型在合成含有闪亮物体的场景时表现更优,并且是目前唯一能在实际场景中合成逼真镜面外观和反射的NeRF方法,同时所需的优化时间也与当前最先进的视图合成模型相当。
2、Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis
中文标题:生成式相机跟踪:极限单目动态新视角合成
简介:本文提出了一种名为$\textbf{GCD}$的可控单目动态视角合成技术,旨在从任何场景的视频中生成另一种视角的同步视频,只需给出相对相机姿态参数即可。该模型不需要深度信息作为输入,也不需要显式建模三维场景几何形状,而是通过端到端的视频到视频转换来高效地实现其目标。尽管仅在合成的多视角视频数据上进行训练,但零样本的真实世界泛化实验在多个领域展现出了有希望的结果,包括机器人技术、物体永恒性和驾驶环境。我们相信,我们的框架有潜力在丰富的动态场景理解、机器人感知和交互式虚拟现实3D视频查看体验等方面实现强大的应用。
3、Improved Distribution Matching Distillation for Fast Image Synthesis
中文标题:快速图像合成的改进分布匹配蒸馏
简介:这篇文章介绍了一种名为"改进分布匹配蒸馏"(DMD2)的新方法,用于快速高效的图像生成。
主要亮点包括:
(1)消除了回归损失和昂贵的数据集构建需求,克服了原有DMD方法的局限性。
(2)将GAN损失集成到蒸馏过程中,使学生模型能够在真实数据上进行训练,提高了生成图像的质量。
(3)修改训练过程,在训练时间模拟推理时间,解决了训练-推理输入不匹配的问题。
总的来说,这种DMD2方法在单步图像生成任务中取得了新的基准,在ImageNet-64x64和零样本COCO 2014数据集上取得了优秀的FID指标,同时还大幅降低了推理成本。这显示了其在大规模文本到图像合成中的潜力。