阿里Wan-Animate:效果炸裂!仅需一张参考图+参考视频搞定一致性动作和丰富表情迁移视频生成

??大家好!欢迎来到破狼主页。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼文末扫码加入交流群,文章涉及模型和工作流可文末网盘下载

前沿更新

最新更新模型和工作流,还未来得及推文更新的最新资讯如下所示,模型和工作流可文末获取

  • 混元2.文生图:已更新最新混元2.1文生图模型工作流,带有refiner精调版文生图工作流。工作流简文末下载

一:Wan-Animate简介

在之前文章已经多次介绍过阿里团队视频动作迁移模型Wan-Fun-Control阿里Wan2.2-Fun-Control:精准人物舞蹈迁移!线稿&姿势&深度多种CN支持ComfyUI官方版动作迁移生态全览Wan2.2:AIO-Mega全能模型来袭!融合VACE仅4步极速生成,文|图|首尾帧与双CN动作迁移视频生成全集),但多少有些瑕疵。今天文章将继续介绍通用是阿里团队开源的最新视频动作迁移框架:Wan-Animate,这是一款目前开源视频动作迁移先进模型,是一个面向角色动画角色替换的统一框架。能够实现给定一张角色图像与一段参考视频的视频生成。包括:

  • 对角色进行动画处理——能够精确复刻视频中表演者的面部表情肢体动作,生成高保真角色视频;
  • 将动画后的角色重新集成至原视频,替换原始角色,并同步复制场景光照与色调,能够实现无缝环境融合。

Wan-Animate是以Wan模型为基础。为适配角色动画任务,研发团队改进了输入范式,使参考条件与生成区域可在统一符号表示中加以区分,从而将多种任务整合至同一框架。身体运动通过空间对齐的骨架信号控制;面部表情则利用源图像提取的隐式特征进行驱动。为进一步提升角色替换时的环境融合度,研发团队还设计辅助 Relighting LoRA,在不改变角色外观的前提下,施加正确的环境光照与色彩调性。通过广泛实验结果表明,Wan-Animate 具有优秀的性能和质量表现。

  • github:https://github.com/Wan-Video/Wan2.2
  • 项目主页:https://humanaigc.github.io/wan-animate/
  • huggingface: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B
  • 在线体验:https://huggingface.co/spaces/Wan-AI/Wan2.2-Animate

二:模型与环境安装

本文使用ComfyUI-WanVideoWrapper插件体验。模型和工作流文末网盘下载!

  • ComfyUI-WanVideoWrapper:https://github.com/kijai/ComfyUI-WanVideoWrapper
  • Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors: 下载模型并放置 /ComfyUI/models/diffusion_models 目录下。
  • WanAnimate_relight_lora:下载模型并放置 /ComfyUI/models/loras 目录下。
  • 另外,还需Lightx2vWan vae等模型。

三:模型测评与体验

Wan-Animate视频动作和表情迁移工作流如下所示(模型和工作流文末网盘下载!):

参考视频区-背景Mask

参考人物

主模型加载

采样和输出展示

核心节点

核心节点WanVideo Animate Embeds,支持姿势pose、背景图、面部表情图,参考主体图分别输入,可以多重组合视频生成。

另外,还需注意背景遮罩使用,绿色节点表示包含内容(键盘shift键+鼠标左边),红色节点表示包含内容(键盘shift键+鼠标右边);如需重装直接使用New canvas

01. 真人舞蹈

女人跳舞,优美舞姿

02. 熊演说

一只熊在演说

03. 深情演说

一只男人在演说

四: 推荐在线体验

1.WaveSpeed AI:强烈推荐的一个比Fal更强大的模型聚合平台!速度更快且更具性价比! ,既可以在线使用各类图片/视频/音频/3D/数字人模型,又可以嵌入Comfyui 或者API调用。(专属邀请链接注册即得一美金,可白嫖20个wan2.2视频)

  • WAN 2.2视频生成(价格低至 0.05$/5秒) :https://wavespeed.ai?utm_source=polang

2.RunningHUB:推荐在线RunningHUB平台可在线体验AI应用和工作流(注册即送1000积分可用)。主页更多精彩工作流可在线体验:https://www.runninghub.cn/user-center/1890418187312222210/webapp?inviteCode=kol01-rh059 (邀请码:kol01-rh059

  • 更符合东方审美的老照片修复(工作流可4K高清) :https://www.runninghub.cn/ai-detail/1941996033595568130/?inviteCode=kol01-rh059

3.仙宫云镜像:推荐使用云端镜像体验:新注册即送8元免费白嫖额度。注册链接:https://www.xiangongyun.com/register/UJ6IVE

  • AGI技术资料整理:https://www.yuque.com/yuqueyonghuwhsczq/isrggf/ypl2f4ey6q8l8f2o?singleDoc#

推荐阅读

五:文章总结

关于Wan-Animate使用技巧总结如下:

工作流和模型下载

01.推荐工作流下载:

Wan-Animate视频动作和表情迁移

  • WanAnimate真人舞蹈-视频编辑 :https://www.runninghub.cn/ai-detail/1969280367226200065/?inviteCode=kol01-rh059

腾讯混元2.1(refiner)文生图

  • 腾讯混元2.1(refiner)文生图 :https://www.runninghub.cn/ai-detail/1966168938361122817/?inviteCode=kol01-rh059

02. 模型下载:

  • Wan视频模型(Wan-Animate模型下载):https://pan.quark.cn/s/9d6b11555fa6?pwd=NATr 提取码:NATr
  • Hunyuan-Image2.1 :https://pan.quark.cn/s/434e9ab44c3a 提取码:fSx5
  • QWen-Image图文模型:https://pan.quark.cn/s/509ea46e3b5a?pwd=yBQU 提取码:yBQU
  • ComfyUI插件 :https://pan.quark.cn/s/1e6b777b023a?pwd=4rZj 提取码:4rZj
  • Flux模型全集:https://pan.quark.cn/s/5ad9442f8c24?pwd=NWPe 提取码:NWPe
  • Kontext模型:https://pan.quark.cn/s/5ae9ac4fea9e?pwd=DB76 提取码:DB76

    感兴趣加入[AGI技术交流群]+V

    图片

    文章不错关注+留言+点赞+在看+分享互动支持