开源3D医学大模型SAT，支持497类器官，性能超越72个nnU-Nets，上交大团队发布

作者 | 上海交通大学、上海人工智能实验室
编辑 | ScienceAI

近日，上海交通大学与上海人工智能实验室联合团队发布3D医学图像分割大模型SAT（Segment Anything in radiology scans, driven by Text prompts），在3D医学图像（CT、MR、PET）上，基于文本提示实现对人体497种器官/病灶的通用分割。所有数据和代码、模型均已开源。

---

论文链接：https://arxiv.org/abs/2312.17183
代码链接：https://github.com/zhaoziheng/SAT
数据链接：https://github.com/zhaoziheng/SAT-DS/

研究背景
医学图像分割在诊断、手术规划和疾病监测等一系列临床任务中都有重要作用。传统的研究针对每个特定的分割任务训练「专用」模型，导致每个「专用」模型的应用范围都相对有限，无法高效便捷地满足广泛多样的医疗分割需求。

与此同时，大语言模型最近在医疗领域取得了巨大成功，而要进一步推动通用医疗人工智能的发展，构建一个可以连接语言和定位能力的医学分割工具变得十分必要。

研究价值
作为首个基于文本提示的3D医疗图像通用分割大模型，SAT的价值体现在许多方面：

• SAT构建了高效灵活的通用分割
• SAT是基于大规模分割数据预训练的基础模型
• SAT实现了基于文本提示的准确、鲁棒分割
• SAT可以作为大语言模型的代理工具
• 模型尺寸对于分割的影响
• 领域知识对于分割的影响

文章作者为赵子恒，张耀，吴超逸，张小嫚，张娅教授，王延峰教授，谢伟迪教授。

数据构建

• 多模态知识图谱
• SAT-DS

模型架构

• 知识注入
• 基于文本提示的通用分割

模型测评

• 与专用模型nnU-Nets的对比实验
• 与交互式分割模型MedSAM的对比实验
• 定性比较
• 域外测试结果

消融实验

• 视觉骨干网络
• 文本编码器

与大语言模型的结合

文章标签

• 产业
• 图像分割
• 医学影像
• 大模型
• AI

文章操作

• 收藏文章
• 评论
• 分享

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。