1 of 28

3D Gaussian Splatting for Real-Time Radiance Field Rendering

Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

方双康

2024.05.06

2 of 28

渲染效果

visual quality

3 of 28

性能对比

Comparisons

4 of 28

简介

Introduction

1 引入了一种各向异性(anisotropic)的3D高斯分布作为高质量、非结构化的辐射场表达；

2 实现了使用GPU进行快速可微的渲染，允许各向异性的抛雪球(Splatting)和快速反向传播。

3 提出了针对3D高斯特性的优化方法，并同时进行自适应密度控制；

Contributions

1

2

3

5 of 28

6 of 28

相关工作

Related Work

  1. 为每个点赋予特征向量；
  2. 体渲染时取采样点周边一定领域内的点的特征做线性插值，解码得颜色和体密度；
  3. 自适应点云生长和剔除。

Point-NeRF

[CVPR 2022] Point-NeRF: Point-Based Neural Radiance Fields

7 of 28

相关工作

Related Work

  • 体素格点储存球谐函数(spherical harmonic)系数，系数做插值得到采样位置的球谐函数。

Plenoxels

[CVPR 2022] Plenoxels: Radiance Fields without Neural Networks

8 of 28

预备知识

Preliminaries

旋转

缩放

9 of 28

可微的3D高斯Splatting

Differentiable 3D Gaussian Splatting

 

Points

点的位置（也即3D高斯的均值）

协方差矩阵，决定高斯形状

不透明度，用于Splatting

球谐函数，拟合视角相关的外观

10 of 28

11 of 28

优化与自适应密度控制

Optimization with Adaptive Density Control of 3D Gaussians

Optimization

  • 随机梯度下降
  • CUDA并行
  • 快速光栅化
  • Sigmoid 和 Exponential 激活函数
  • 损失函数：

12 of 28

优化与自适应密度控制

Optimization with Adaptive Density Control of 3D Gaussians

Adaptive Control of Gaussians

  • 每100次迭代移除不透明度小于阈值的点；
  • 重建不充分的区域往往会有较大的梯度
    • Under-reconstruction：clone
    • Over-reconstruction：split
  • 周期性将不透明度重置为0用于去除floaters；
  • 周期性移除较大的高斯用于避免重叠；

13 of 28

快速可微光栅化

Fast Differentiable Rasterizer for Gaussians

Tile-based Rasterizer

  1. 把整个图像划分为 16*16 个 tiles，每个 tile 视锥内挑选可视的3D Gaussian；
  2. 每个视锥内只取置信度大于 99% 的高斯，并按深度排序；

3. 并行地在每个 tile 上 splat；

4. 有像素的不透明度达到饱和就停止对应线程；

5. 反向传播误差时按 tile 对高斯进行索引；

14 of 28

15 of 28

总结

Summary

16 of 28

实验结果

17 of 28

18 of 28

19 of 28

20 of 28

21 of 28

22 of 28

23 of 28

24 of 28

25 of 28

26 of 28

27 of 28

不直接预测所有可能的高斯球，而是先标定一些点(anchor)，然后预测anchor附近可能存在什么样的高斯球

28 of 28