告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。

---

如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本论文作者包括帝国理工学院硕士生杨润一、北航二年级北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究院（AIR）助理教授赵昊等。

最近，3D Gaussian Splatting (3DGS) 作为一种新颖的 3D 表示方式，因其快速的渲染速度和高渲染质量而受到关注。然而，这种方法也伴随着高内存消耗，例如，一个训练好的高斯场可能会使用超过三百万个高斯基元和超过 700 MB 的内存。

近日，帝国理工学院、北航、北京理工大学、中国科学院大学、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）、清华大学智能产业研究院（AIR）等机构的研究者联合发表了一篇论文《SUNDAE: Spectrally Pruned Gaussian Fields with Neural Compensation》，我们认为这种高内存占用是由于没有考虑基元之间的关系。在论文中，我们提出了一种名为 SUNDAE 的内存高效的高斯场，采用频谱修剪和神经补偿。

文章链接：https://arxiv.org/abs/2405.00676

项目主页：https://runyiyang.github.io/projects/SUNDAE/

一方面，我们基于高斯基元的空间信息构建了一个图，用于模拟它们之间的关系，并设计了一个基于图信号处理的降采样模块来剪枝，同时保留所需信号。另一方面，为了补偿剪枝造成的质量下降，我们利用了一个轻量级神经网络来混合渲染特征，有效地补偿了质量下降，同时在其权重中捕获基元之间的关系。

我们通过大量的结果展示了 SUNDAE 的性能。例如，在 Mip-NeRF360 数据集上，SUNDAE 可以在使用 104 MB 内存的情况下达到 26.80 PSNR 和 145 FPS，而标准的 3D Gaussian Splatting 算法在使用 523 MB 内存的情况下达到 25.60 PSNR 和 160 FPS。

与此同时，自从开源后，SUNDAE 受到国际上广泛的关注，受到了知名 NeRF 社区 MrNeRF，AI research 社区维护者 Ahsen Khaliq、以及多位相关领域研究人员转发关注。

一、带神经补偿的频谱剪枝高斯场

1.1 基于频谱图的剪枝策略

3DGS 使用一组高斯基元来表示场景，由于这些基元在三维空间中的分布不规则，我们提出了基于图的方法来捕获基元之间的关系，而不是使用网格这样的常规结构。

具体来说，我们采用图信号处理理论来推导一个最优的采样策略，该策略能够基于图信号保留特定频谱的信息。通过控制频谱带宽，我们可以灵活地控制剪枝比例，建模高斯基元之间的关系。

我们使用高斯基元的中心来作为图上的信号输入，将高斯基元之间的距离作为图的边，图的邻接矩阵可以表示为

其中是高斯基元的中心点， 是一个阈值超参数， 是距离矩阵的方差。也就是说，如果两个高斯基元之间的距离比一个阈值小，那么我们将其之间建立一条图的边。建立好图的邻接矩阵之后，我们可以根据 Haar-like 滤波器对图上的信号进行处理，得到特定频段的图信号。最终根据想要的频段信号进行剪枝，本文中我们使用了带阻滤波器，保留表示物体细节的高频信号和背景点的低频信号。

1.2 神经补偿机制

经过频谱剪枝后，渲染质量因为删去了过多的高斯基元不可避免会下降，为了解决这个问题，我们…

（以下内容省略）

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。