新视角设计下一代时序基础模型，Salesforce推出Moirai-MoE

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。

---

如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文由 Salesforce、新加坡国立大学、香港科技大学（广州）共同完成。其中，第一作者柳旭是 Salesforce 亚洲研究院实习生、新加坡国立大学计算机学院四年级博士生。通讯作者刘成昊是 Salesforce 亚洲研究院高级科学家。该工作的短文版本已被 NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。

时间序列预测是人类理解物理世界变化的重要一环。自去年底以来，时序预测领域正在经历重大转型，从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。目前虽然有不少基础模型已经提出，但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。

近期，来自 Salesforce、新加坡国立大学、香港科技大学（广州）的研究者以模型专家化这一全新视角作为抓手，设计并提出了下一代时序预测基础模型 Moirai-MoE。该模型将模型专业化设计在 token 这一细粒度运行，并且以完全自动的数据驱动模式对其赋能。模型性能方面，不同于仅在少量数据集上进行评估的已有时序基础模型，Moirai-MoE 在一共 39 个数据集上进行了广泛评估，充分验证了其优越性。

论文标题：Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts

代码仓库：https://github.com/SalesforceAIResearch/uni2ts

研究动机

训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性，这种时序数据的独特特性凸显了设计专业化模块的必要性。现有的解决方案主要分为两种。第一种是通过基于语言的提示来识别数据源，从而实现非常粗粒度的数据集级别模型专业化。第二种方案利用了时序数据的频率这一元特征实现了更细粒度的专业化：该方法为特定频率设计单独的输入 / 输出投影层，从而实现特定频率的模型专业化。

…

更多实验结果，可参考原论文。

---

。注意：Title、Date、Body 三个部分的内容，放入到对应的位置。最后只需要按照格式标准输出为Makedown源文件格式内容。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。