AIGCResearch

Topic: 3D Reconstruction｜Indoor Scene

Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering

2024-09-11｜KU Leuven｜⭐️

http://arxiv.org/abs/2409.07098v1

概述

本研究提出了一种针对室内场景神经渲染的相机选择方法，旨在解决由冗余信息引起的场景建模效率低下的问题。通过捕捉单目视频序列，虽然可以实现新视角合成，但由于人为动作导致的冗余信息会降低建模效率。我们构建了一个相似性矩阵，该矩阵结合了相机的空间多样性和图像的语义变化。通过使用内部列表多样性（ILD）度量，我们将相机选择任务转化为一个优化问题，进而应用基于多样性的采样算法来优化相机选择。此外，我们开发了一个新的数据集IndoorTraj，包含由人类在虚拟室内环境中捕获的复杂相机运动，能够更真实地模拟现实场景。实验结果表明，我们的方法在时间和内存限制下表现优于其他方法，并且仅使用约15%的帧和75%的时间预算，便能达到与全数据集训练模型相当的性能。

方法

我们的方法首先定义了一种基于相似性的度量来评估相机之间共享的冗余信息。我们的目标是从所有相机中找到一个视图子集，以最大化多样性。我们使用内部列表多样性（ILD）作为度量标准，并将相机选择问题转化为一个优化任务。为此，我们构建了一个多因素相似性矩阵，考虑了空间距离、角度相似性和图像相似性等多个因素。具体而言，空间距离和角度相似性用于量化相机在三维空间中的位置多样性，而图像相似性则用于捕捉语义多样性。通过平衡这些因素的权重，我们能够优化相机选择，以确保在建模过程中尽量减少冗余信息。最终，我们采用贪心算法来实现这一目标，并通过最大化边际相关性来获得最优解。

实验

在实验中，我们使用了两个数据集进行评估：经典的Replica数据集和新创建的IndoorTraj数据集。我们将提出的方法与随机采样、均匀采样和Kopanas等人的预选择方法进行了比较。实验结果显示，在IndoorTraj数据集上，我们的方法在相同数据量下的渲染质量显著优于其他基线方法。具体而言，在只使用全数据集15%的帧和75%的时间预算的情况下，我们的方法在峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标上表现良好，达到了与全数据集训练模型相当的性能。这表明我们的相机选择策略不仅提高了效率，还保持了高质量的渲染效果。

通俗易懂

在我们的方法中，我们首先要解决的问题是如何选择最合适的相机来拍摄室内场景，以避免冗余的信息。我们使用了一种叫做相似性度量的技术，这种技术帮助我们理解不同相机拍摄到的图像之间的关系。想象一下，如果我们有很多相机在同一个地方拍摄，但有些相机拍摄的内容几乎一样，那么我们就没有必要使用所有这些相机。我们的目标是找到那些拍摄角度不同、能提供更多新视角的相机。为此，我们考虑了相机之间的距离、拍摄角度和图像内容的不同。通过这种方式，我们可以选择出最能代表整个场景的相机组合，从而在减少冗余信息的同时，确保最终渲染的画面质量更高。这就像在拍摄一部电影时，导演会选择不同的镜头来展示不同的视角和细节一样。

Topic: 3D Reconstruction｜3DGS｜Single-View to 3D, Depth-Supervised, Open-Source Library gsplat

Single-View 3D Reconstruction via SO(2)-Equivariant Gaussian Sculpting Networks

2024-09-11｜U Michigan｜⭐️

http://arxiv.org/abs/2409.07245v1

概述

本文提出了一种名为SO(2)-Equivariant Gaussian Sculpting Networks (GSNs)的新型方法，旨在通过单视图图像实现3D物体重建。GSNs通过将单个观察图像作为输入，生成描述物体几何形状和纹理的高效高通量的高斯点云表示。这一方法的核心在于利用共享特征提取器来解码高斯的颜色、协方差、位置和不透明度，从而实现实时重建，达到超过150帧每秒的速度。实验结果表明，GSNs在训练效率和重建质量上均表现出色，并且在与多种基准测试的对比中，GSNs的性能与昂贵的扩散重建算法相当，展现了其在机器人操作中的潜在应用。

方法

GSNs的核心在于使用高斯原语来表示3D物体。每个高斯原语通过四个变量进行参数化：均值、协方差、RGB颜色和不透明度。网络采用编码-解码结构，首先通过特征提取器将输入图像编码为潜在向量，然后使用并行的多层感知器（MLP）将潜在向量解码为高斯参数。为了实现SO(2)不变性，输入图像会围绕摄像机的主轴随机旋转，并通过相同的网络生成旋转后的高斯点云。这一过程的目标是最小化旋转后的点云与未旋转点云之间的扩展Chamfer距离，从而确保重建的一致性和准确性。

实验

在实验部分，研究者使用了椅子和汽车的数据集，对GSNs的性能进行了定量和定性的评估。实验结果显示，GSNs在单视图3D重建任务中能够快速生成物体的高斯点云表示，并通过与真实图像的比较，验证了其重建质量。GSNs的推理速度显著快于现有的基线方法，且重建质量相当。研究还展示了GSNs在机器人操作中的应用潜力，具体通过模拟Kuka机械臂的抓取任务，验证了模型在不同视角下对物体几何和纹理的有效捕捉能力。

通俗易懂

在这项研究中，科学家们开发了一种新方法，叫做高斯雕刻网络（GSN），可以通过一张图片来快速生成3D物体的模型。想象一下，你有一张椅子的照片，GSN可以利用这张照片，快速“雕刻”出椅子的3D形状和颜色。这个过程就像是用一块橡皮泥捏出一个物体，只不过这里用的是计算机和数学。GSN的工作原理是首先把图片的信息转化为一个数字格式，然后再把这些数字变成高斯点云——一种特殊的3D表示方法。为了确保即使在不同角度下也能得到一致的结果，GSN会对输入的图片进行旋转处理。通过这种方式，GSN不仅能生成高质量的3D模型，还能在机器人抓取物体时提供准确的信息。这项技术有望在未来的机器人操作和自动化领域发挥重要作用。

Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs

2024-09-11｜Koç U, U Bologna｜BMVC 2024｜