UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。
需求人群： "UniAnimate的目标受众主要是计算机视觉和图形学领域的研究人员和开发者，特别是那些专注于人物动画和视频生成的专业人士。它适合需要生成高质量、长时序人物视频动画的应用场景，如电影制作、游戏开发、虚拟现实体验等。" 使用场景示例： 使用UniAnimate为电影制作生成高质量的人物动画。在游戏开发中，利用UniAnimate生成连贯的人物动作序列。虚拟现实体验中，通过UniAnimate创建逼真的人物动态效果。 产品特色： 使用CLIP编码器和VAE编码器提取给定参考图像的潜在特征。将参考姿势的表示纳入最终参考指导，以便于学习参考图像中的人体结构。使用姿势编码器对目标驱动的姿势序列进行编码，并与噪声输入沿通道维度进行连接。将连接的噪声输入与参考指导沿时间维度堆叠，并输入到统一视频扩散模型中以去除噪声。在统一视频扩散模型中，时间模块可以是时间Transformer或时间Mamba。采用VAE解码器将生成的潜在视频映射到像素空间。 使用教程： 首先，准备一张参考图像和一系列目标姿势序列。使用CLIP编码器和VAE编码器提取参考图像的潜在特征。将参考姿势的表示与潜在特征结合，形成参考指导。通过姿势编码器对目标姿势序列进行编码，并与噪声视频结合。将结合后的输入数据输入到统一视频扩散模型中进行噪声去除。根据需要选择时间模块，可以是时间Transformer或时间Mamba。最后，使用VAE解码器将处理后的潜在视频转换为像素级的视频输出。 展开 浏览量：90 s1785318098921236 打开站点
