Open-Sora全面开源升级:支持16s视频生成和720p分辨率

Open-Sora 在开源社区悄悄更新了,现在单镜头支持长达16秒的视频生成,分辨率最高可达720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。


生成个横屏圣诞雪景,发b站
image

再生成个竖屏,发抖音
image

还能生成单镜头16秒的长视频,这下人人都能过把编剧瘾了
image

怎么玩?指路
GitHub:https://github.com/hpcaitech/Open-Sora

更酷的是,Open-Sora 依旧全部开源,包含最新的模型架构、最新的模型权重、多时间/分辨率/长宽比/帧率的训练流程、数据收集和预处理的完整流程、所有的训练细节、demo示例详尽的上手教程


最新功能概览

作者团队在GitHub上正式发布了Open-Sora 技术报告,根据笔者的了解,本次更新主要包括以下几项关键特性:

  • 支持长视频生成;
  • 视频生成分辨率最高可达720p;
  • 单模型支持任何宽高比,不同分辨率和时长的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求;
  • 提出了更稳定的模型架构设计,支持多时间/分辨率/长宽比/帧率训练;
  • 开源了最新的自动数据处理全流程。

时空扩散模型ST-DiT-2

作者团队表示,他们对Open-Sora 1.0中的STDiT架构进行了关键性改进,旨在提高模型的训练稳定性和整体性能。针对当前的序列预测任务…

(以下内容由于长度限制,请访问原链接获取全部内容)
原文链接

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

Open-Sora全面开源升级:支持16s视频生成和720p分辨率

https://www.gptnb.com/2024/04/28/2024-04-27-auto4-4Gb7yH/

作者

ByteAILab

发布于

2024-04-28

更新于

2025-03-21

许可协议