来自清华大学、华为诺亚方舟实验室、中国科学院的研究人员推出VastGaussian，它用于大型场景的高质量重建和实时渲染。想象一下，你想要创建一个虚拟城市或者重现一个历史遗迹，并且希望这个虚拟场景能够以照片般真实的质量实时显示。VastGaussian就是为了解决这样的挑战而设计的。
项目主页：https://vastgaussian.github.io
论文地址：https://arxiv.org/abs/2402.17427
主要功能：
- VastGaussian能够处理大型场景的3D重建，并且能够以实时的速度渲染出高质量的图像。
- 它通过将大型场景分割成多个小区域（称为“细胞”），分别对这些区域进行优化，然后将它们合并成一个完整的场景。
主要特点：
- 采用了一种渐进式分区策略，将大型场景分割成多个细胞，这样可以在有限的显存下处理更多的3D高斯体。
- 引入了一种解耦的外观建模方法，可以在优化过程中减少渲染图像中的外观变化，从而减少不自然的现象（如浮动物体）。
- 在多个大型场景数据集上取得了最先进的结果，实现了快速优化和高保真度的实时渲染。
工作原理：
- VastGaussian首先将大型场景分割成多个细胞，每个细胞包含较少的3D高斯体，这使得优化过程更加高效。
- 在优化过程中，它使用了解耦的外观建模，通过一个卷积神经网络（CNN）生成一个转换图，用于调整渲染图像，以适应训练图像中的外观变化。
- 优化完成后，这些细胞被无缝合并，形成一个完整的场景，同时保持了外观和几何的一致性。
具体应用场景：
- 自动驾驶：在自动驾驶系统中，VastGaussian可以用来创建详细的城市环境模型，帮助自动驾驶车辆更好地理解周围环境。
- 航空测绘：在航空测绘中，VastGaussian可以用于从空中拍摄的照片中重建地面的详细3D模型。
- 虚拟现实：在虚拟现实应用中，VastGaussian可以用于创建高质量的虚拟环境，提供更加真实的用户体验。
总的来说，VastGaussian通过其创新的分区策略和解耦的外观建模，为大型场景的3D重建和实时渲染提供了一种高效且高质量的解决方案。
0条评论