默认首帧引导模式,切换其他功能需手动切换到正常引导模式!


2025.12.24更新:

01.优化面部参考,使用原视频裁切脸部驱动生成(Animate模型直接使用无预处理内容即可完成迁移);

02.优化计算时长单位(秒),添加公式自动换算。

03.添加rcm-lora, 降低计算和存储要求!


不局限于影视恶搞创作,通过切换不同遮罩模式能实现不同效果(换衣服、换发型等.......)多尝试。

⚠️ 注意:一次性生成多角色替换,建议使用首帧引导+姿势\面部参考,使用1.无遮罩输入模式效果更佳。


⚠️ 首帧引导素材需手动通过下方 工作流 制作https://www.liblib.art/modelinfo/ef374358775e41c2ac97610b22987e48?from=personal_page&versionUuid=22642ddd7fa44de1b334273797fedc75


单独视频高清修复工作流跳转: https://www.liblib.art/modelinfo/9b03cf56f4864a5db1cab9d253eb4074?from=personal_page&versionUuid=82745eba35fa4e96aeaeb3dc93430d55


工作流定位: 影视级恶搞/二创/动作迁移/场景替换


核心特点总结:

01.遮罩控制:提供 6 种遮罩模式,支持精准控制迁移区域(脸、身体、衣服、背景等)

02.引导方式:支持「首帧引导」+「姿态引导」+「CLIP 视觉引导」三重控制

03.画质增强:可选 2x / 4x 超分修复,支持 RIFE 插帧,提升清晰度和流畅度

04.智能识别:集成 SAM2 + QwenVL 实现「自动识别+矩形框+遮罩生成」,无需手动抠图

05.内存优化:支持 block swap、VRAM 清理、模型卸载,适配低显存环境


遮罩模式详解:

01.无遮罩:全局迁移(人物+背景)

02.抠除主体:只保留背景,替换人物

03.抠除脸部+头发:保留身体,替换脸部

04.抠除衣服:替换衣服,保留人脸

05.识别为矩形遮罩:自动识别目标并框选

06.精准识别遮罩:提示词识别+SAM2 精修


引导模式详解:

01.正常引导模式(参考输入图片进行迁移)

02.首帧引导模式(以首诊进行推理,适合单次替换多个角色)


应用场景:

05.恶搞二创:让“特朗普”跳“BLACKPINK”舞

01.角色替换:把“原视频中的角色”换成“上传参考图”

02.动作迁移:让“静态照片”跳“原视频中的舞”

03.服装替换:把“原视频中的衣服”换成“指定款式”

04.背景替换:保留人物,替换为动漫/科幻背景