清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片

我国在类脑计算、类脑感知两个重要方向均已取得基础性突破。

在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种「长尾问题」，如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。

---

在这类任务上，传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制，往往面临失真、失效或高延迟的问题，严重影响系统的稳定性和安全性。

为了克服这些挑战，清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术，提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。

5 月 30 日，该研究的论文《面向开放世界感知、具有互补通路的视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》杂志封面。这是该团队继 2019 年 8 月的类脑计算芯片「天机芯」后，第二次登上《自然》封面，标志着国内芯片领域在类脑计算和类脑感知两个重要方向上均已取得基础性突破。

论文链接：Nature Article

据介绍，新研究提出了一种受 HVS 多级特性启发的互补感知范式，其借鉴人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。

基于这一新范式，团队研制出了世界首款类脑互补视觉芯片「天眸芯」（Tianmouc），它可以在极低的带宽（降低 90%）和功耗条件下，实现每秒 10000 帧的高速、10bit 的高精度、130dB 的高动态范围视觉信息采集。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。

「天眸芯」互补视觉芯片设计

在物理传感系统中，想实现互补传感范式有几个必须解决的挑战。首先，设计像素阵列至关重要，这需要同时解析同一焦平面上相应图元的光电信息转换。其次，两条路径的读出架构必须包含异构构建块，这些构建块可以使用不同的数据分布和格式对电信息进行编码。

如图 2 所示，「天眸芯」采用 90 nm CMOS 背照式技术制造，由两个核心部分组成：

• 用于将光学信息转换为电信号的混合像素阵列；
• 用于构建两个 CVP 的并行异构读出架构。

受感光细胞的启发，混合像素阵列包括锥体和杆体像素，具有不同的特性，如颜色、响应模式、分辨率和灵敏度。这些像素可以将视觉信息解析为特定的颜色（红色、绿色、蓝色）和白色光谱，充当颜色对立图元。

研究团队对「天眸芯」的量子效率、动态范围、响应速度、功率和带宽等性能指标进行了全面的评估。该芯片在 COP 和 AOP 中均表现出较高的量子效率，530 nm 最高可实现 72% 的 AOP 和 69% 的 COP。「天眸芯」通过利用互补的 COP 和 AOP 中不同增益模式的动态范围来实现高动态范围。

开放世界表现

「天眸芯」的互补感知范式为自动化系统提供了想象空间，它可以作为感知算法的优质数据源。为了在开放世界场景中评估这些能力，研究人员开发了一个集成「天眸芯」的汽车驾驶感知系统，以评估在开放道路上行驶，涉及各种极端情况，例如强光干扰、高动态范围场景、域偏移问题（异常物体）和具有多个极端情况的复杂场景。

为了利用天眸芯架构的优势，作者设计了一种多路径算法，专门用于利用 AOP 和 COP 的互补特性。在感知层面，图元的完整性使得原始场景的重建和对极端照明的适应成为可能。同时在感知层面，AOP 提供对变化、纹理和运动的即时感知，而 COP 提供精细的语义细节。通过同步这些结果，我们可以让 AI 系统全面了解场景。

根据 mAP_0.50（平均精度），与图 4 中所有情况下仅使用单一路径相比，CVP 具有更优的整体检测性能。值得注意的是，它在实现这一目标的同时消耗了不到 80 MB s^(-1) 的带宽和 328 mW 的平均功耗。实验结果表明，天眸芯可以有效适应极端光环境并提供领域不变的多级感知能力。

天眸芯擅长捕捉复杂的认知细节，同时可对快速不可预测的突发情况和运动作出响应。它提供高速、高动态范围和高精度，同时保持了自适应低带宽的特性。同样重要的是，它的高可扩展性允许通过先进的制造工艺实现高级空间分辨率，从而促进具有低功耗和带宽要求的分辨率敏感应用。作者认为，新的范式为开发用于开放世界应用的先进计算机视觉理论、算法和系统开辟了一条新途径。

该工作的论文通讯作者为清华大学精密仪器系施路平教授和赵蓉教授，此外精密仪器系杨哲宇博士（现北京灵汐科技有限公司研发经理）、精密仪器系 2020 级博士生王韬毅、林逸晗为论文共同第一作者。

参考内容：清华大学官网

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。