两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

专注于计算机图形学的全球学术顶会 SIGGRAPH，正在出现新的趋势。

在上周举行的 SIGGRAPH 2024 大会上，最佳论文等奖项中，来自上海科技大学 MARS 实验室的团队同时拿到两篇最佳论文荣誉提名，其研究成果亦在快速走向产业化。

---

作者使用生成模型的方法，开启了将想象力直接转化为复杂 3D 模型的新路。

拿到最佳论文提名的两篇论文——CLAY 和 DressCode，二者的主题分别是 3D 生成和 3D 服装生成。

在 SIGGARPH 的 Real-Time Live 环节，上科大这一团队更实时展示了基于这两项工作的一系列应用场景。

论文作者，研究生二年级学生，同时也是初创公司影眸科技的 CTO 张启煊首先演示了基于 CLAY 的 3D 生成解决方案。影眸团队去年用简单的文字提示词（Prompt）给扎克伯格和黄仁勋构建了真实风格的 3D 模型，成为第一个登上 SIGGRAPH Real-Time Live 的中国团队。今年他们的 3D 生成方案，通过单张图片作为输入，可以生成出小扎和老黄不同风格的卡通形象。

这些生成内容的背后是新一代 3D AI 引擎 Rodin，致敬著名雕塑家罗丹。现场展示的 3D 内容都是由用户上传的单张图片直接生成的，Rodin 可以进一步生成 PBR 纹理和四角面，以方便艺术家进一步修改和使用。

通过 3D ControlNet，Rodin 可以控制 AI 生成的形状。仅需提供简单的几何元素作为指导，就可以将其转换为体素，并根据参考图片的语义信息将其转换为所需要的 3D 资产。

Rodin 也支持直接手绘的图片，甚至是简单涂鸦。几张照片生成 3D 人物，儿童涂鸦生成树木作为背景，开发人员现场实时操作，一分钟内便搭建了一个完整的 3D 建模的场景。当主持人问到中间的小怪物是谁时，张启煊风趣的说，这就是 AI。

说起来，3D 模型生成的上一次出圈其实也是在 SIGGRAPH 上：在 2021 年，英伟达在这个舞台上介绍了给黄仁勋制作 3D 模型的方法，以假乱真的效果震撼了世界。

彼时的 3D 模型生成被认为对于数字人、虚拟现实等技术而言至关重要。但毫无疑问，高精度人体扫描 + 深度学习重建方式的高成本，决定了它注定不会成为投入大规模生产的方式。

使用 AI 生成或许才是更好的路径。然而此前在这个方向上，人们提出的技术一直「叫好不叫座」。

对实际应用而言，这些方法存在一些挑战：3D 是一个工业问题，模型仅仅在视觉上表现好是不够的，还需要符合特定的工业标准，比如材质如何表现，面片规划、结构如何合理。如果不能和人类工业标准对齐，那生成结果就需要大量调整，难以应用于生产端。

就像大语言模型（LLM）需要对齐人类的价值观，3D 生成的 AI 模型需要对齐复杂的 3D 工业标准。

更实用的方案已经出现：3D 原生

上科大 MARS 实验室获得最佳论文提名的工作之一——CLAY 让行业看到了上述问题的一个可行的解决思路，即 3D 原生。

我们知道，最近两年，3D 生成的技术路线大致可以分为两类：2D 升维和原生 3D。
…
…

期待未来，新技术的进一步落地。

---

{Copy the content from "Body" section with markdown formatting, excluding the image links}

---

![图片](https://image.jiqizhixin.com/uploads/editor/8b4c210c-f1b8-4c19-9993-89025ec06521/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/66d8ed58-cac6-4ed1-b3f6-acddf9bec5fc/640.gif)
...
{Copy all the image links mentioned in the article}

---

{Acknowledgement}

{Reference}

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。