本网页内容由瑞哈希信息科技有限公司收集,排名不分先后,如遇收费应用自行判断,如有侵权请联系删除!
文本到视频生成:Phenaki能够根据文本提示生成视频,这些提示可以是静态的,也可以随时间变化。
交互式示例:网站提供了一个交互式示例,用户可以选择不同的上下文词组合来创建关于宇航员的视频。
从静态图像和提示生成视频:输入可以是第一帧图像加上文本提示,模型将基于这些信息生成视频。
2分钟视频生成:Phenaki能够使用一系列文本提示生成长达2分钟的视频,这些视频是通过在旧版本的模型上进行序列化提示生成的。
技术细节:Phenaki通过引入一种新的因果模型来学习视频表示,该模型将视频压缩为离散标记的小表示。使用因果注意力机制处理可变长度的视频,并使用双向掩蔽变换器根据预先计算的文本标记生成视频标记。然后将生成的视频标记解标记化以创建实际视频。
数据问题解决方案:Phenaki展示了如何通过在大量图像-文本对的大型语料库以及较少数量的视频-文本示例上进行联合训练,可以实现超出视频数据集所提供内容的泛化。
研究创新:据称,这是首次有研究论文探讨从随时间变化的提示(即时间变量文本或故事)生成视频。此外,所提出的视频编码器-解码器在空间-时间质量和每视频标记数量方面均优于文献中目前使用的所有逐帧基线。
瑞哈希信息科技的人工智能工具导航网页是一个包含全网生成式AI人工智能的AI工具导航宝塔、AI写作、AI绘画、AI设计、AI办公、AI视频、AI语音、AI音乐、AI论文、AI简历、AI数字人、文本转语音等、还包括小红书文案生成器、吐司Al、AIPPT、ChatPPT等常用AI工具,欢迎大家使用浏览本网页、我们将持续更新更多便捷AI工具,力求给大家带来极致的使用体验!
Copyright © 2021-2024 惠州瑞哈希信息科技有限公司