情感分析的终极形态：全景式细粒度多模态对话情感分析基准PanoSent

罗盟，本工作的第一作者。新加坡国立大学（NUS）人工智能专业准博士生，本科毕业于武汉大学。

---

主要研究方向为多模态大语言模型和 Social AI、Human-eccentric AI。

情感计算一直是自然语言处理等相关领域的一个火热的研究课题，最近的进展包括细粒度情感分析（ABSA）、多模态情感分析等等。

新加坡国立大学联合武汉大学、奥克兰大学、新加坡科技设计大学、南洋理工大学团队近期在这个方向上迈出了重要的一步，探索了情感分析的终极形态，提出了 PanoSent —— 一个全景式细粒度多模态对话情感分析基准。PanoSent 覆盖了全面的细粒度、多模态、丰富场景和认知导向的情感分析任务，将为情感计算方向开辟新的篇章，并引领未来的研究方向。该工作被 ACM MM 2024 录用为 Oral paper。

论文地址：https://www.arxiv.org/abs/2408.09481
项目地址：https://panosent.github.io/ 

研究背景

在人工智能领域，让机器理解人类情感是迈向真正智能化的重要一步。情感分析是自然语言处理领域的一个关键研究课题。通过多年的研究，情感分析在各个维度和方面取得了显著的发展。该领域已从传统的粗粒度分析（如文档和句子级别分析）发展到细粒度分析（例如 ABSA），融合了广泛的情感元素，并发展出提取目标、方面、观点和情感等不同的情感元组。此外，情感分析的范围已从纯文本内容扩展到包括图像和视频的多模态内容。

因为在现实世界场景中，用户通常通过多种多样的多媒体更准确地传达他们的观点和情绪，提供超越文本的附加信息，如微表情、语音语调和其他线索。此外，研究已超越单一文本场景，考虑更复杂的对话情境，在这些情境中，个体在社交媒体平台（例如 Twitter、Facebook、微博、知乎、小红书、抖音等）上频繁进行关于服务、产品、体育等的多…

实验和分析

主实验结果

团队通过实验验证了 Sentica 在两个子任务中的表现。在六元组抽取任务中，Sentica 显著优于其他方法，尤其是在结合 CoS 和 PpV 机制后，表现达到最佳。在情感翻转分析中，Sentica 同样表现出色，特别是在多语言环境下，准确性显著提高。

验证构建合成数据的必要性

实验结果表明，尽管合成数据量较大，模型在真实数据上的训练效果更佳。这是因为真实数据的信息分布更为自然，帮助模型学习到更具代表性的特征。然而，合成数据作为补充则显著提升了模型的最终性能，进一步证明了合成数据在优化模型表现中的关键作用。因此，构建合成数据不仅是必要的，而且有助于提升情感分析的整体效果。

验证多模态信息的重要性

研究团队深入分析了多模态信息在情感分析中的作用，发现其不仅是对文本信息的补充，还在六元组元素的判断中起到关键作用。实验结果显示，移除任何模态信号都会导致性能下降，尤其是图像信息的缺失对性能的影响最大。这表明，多模态信息在任务中不可或缺，对提高模型的识别精度至关重要。
。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。