从零开始，用英伟达T4、A10训练小型文生视频模型，几小时搞定

很翔实的一篇教程。

OpenAI 的 Sora、Stability AI 的 Stable Video Diffusion 以及许多其他已经发布或未来将出现的文本生成视频模型，是继大语言模型 (LLM) 之后 2024 年最流行的 AI 趋势之一。

---

在这篇博客中，作者将展示如何将从头开始构建一个小规模的文本生成视频模型，涵盖了从理解理论概念、到编写整个架构再到生成最终结果的所有内容。

由于作者没有大算力的 GPU，所以仅编写了小规模架构。以下是在不同处理器上训练模型所需时间的比较。

作者表示，在 CPU 上运行显然需要更长的时间来训练模型。如果你需要快速测试代码中的更改并查看结果，CPU 不是最佳选择。因此建议使用 Colab 或 Kaggle 的 T4 GPU 进行更高效、更快速的训练。

构建目标

我们采用了与传统机器学习或深度学习模型类似的方法，即在数据集上进行训练，然后在未见过数据上进行测试。在文本转视频的背景下，假设有一个包含 10 万个狗捡球和猫追老鼠视频的训练数据集，然后训练模型来生成猫捡球或狗追老鼠的视频。

^{图源：iStock, GettyImages}

虽然此类训练数据集在互联网上很容易获得，但所需的算力极高。因此，我们将使用由 Python 代码生成的移动

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。