ComfyUI实现Ebsynth视频转绘工作流
请一定要看完文字说明,新手请绕路!
下载工作流后,需要本地或者远程桌面系统安装ebsynth,下载地址:
准备工作流程如下:
1.导入工作流
2.安装缺失插件,如果有找不到插件名字,查看是否安装了这四个个插件:
cg-use-everywhere
ComfyUI-KJNodes
comfyui-job-iterator
comfyui-imgmake
如果comfyui-imgmake你安装的是我修改后的,地址如下:
https://gitee.com/analyzesystem/comfyui-imgmake.git
至于为什么要安装我修改后的看后面说明。
3.安装ffmpeg(云端使用安装命令:apt install ffmpeg)
4.pip install transparent-background
这个有个坑,他的模型如果不给你自动下载,或者下载不了,如果遇到这种情况:
修改目录下文件:ComfyUI/venv/lib/python3.10/site-packages/transparent_background/Remover.py
大概是44行左右(把home_dir目录修改成自己的可见目录):
cfg_path = os.environ.get('TRANSPARENT_BACKGROUND_FILE_PATH', os.path.abspath(os.path.expanduser('~')))
home_dir = "/root/ComfyUI/models/transparent-background"
再运行还不能自动下载,就自己去github下载模型到自己目录:(/root/ComfyUI/models/transparent-background)
三种模型地址如下:
base:
url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base.pth"
fast:
url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_fast.pth"
base-nightly:
url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base_nightly.pth"
5.如果是使用云端还需要安装zip压缩例如: apt install zip
完成以上工作后开始常规使用流程
Stage1.基础配置组必须打开(自己配置视频路径和工程目录),例如我的工程目录:
/root/ebs/videos/test.mp4
/root/ebs/projects/test
同时修改Image Load Cap 值1
如果遇到remover = Remover(fast=tb_use_fast_mode, jit=tb_use_jit, device=device)这里报错,改成remover = Remover(jit=tb_use_jit, device=device)
Stage2.正常设置间隔和 强度抠图即可
注意如果要自动化,不想手动改名称,修改文件gj_image.py 156行 img2img_key改成video_key
output_dir = os.path.join(output_dir, "img2img_key") # 使用传入的 output_dir
Stage3.Group3所有的组都启用和第一个配置组启用
tagger反推需要自己添加
Checkpoint模型lora 以及换脸需要自己修改
这里没用原作者的插件保存文件(他的不能自动创建文件)
测试好以后,修改group3-4_a: seed everywhere节点,seed改成固定值,
删除测试的生成文件夹img2img_key\img2img_upscale_key(避免执行Stage6发生序列上的问题)
关闭Group3-4_e.Stage.3.Preview(测试图用于观察使用,正式批量操作关闭这个组)
修改Image Load Cap 值0(0默认加载所有图片)
此时Stage3 Stage4 都已经完成(Controlnet图效果不满意自己微调)
Stage5.只打开基础配置组和Stage5这个组
注意bug又来了,开源插件的ebs.py. 79行
传入参数少了一个SYNTHS_PER_PROJECT(stage5.py内有个默认值15,我没仔细研究代码修改如下)
ebsynth_utility_stage5(dbg, project_args, is_invert_mask,15)
生成文件后用ebs软件执行第Stage6
如果是云端,需要用到上面安装的zip,压缩后下载,执行完后把生成文件上传
压缩命令参考:zip -r test.zip ./test/
解压命令参考:unzip file.zip
Stage7.只打开基础配置组和Stage7这个组
执行会快速生成结果
----------------------------------------------------------
如果上面安装的是我修改后的comfyui-imgmake,那么你需要操作的步凑简化后如下:
Stage1.基础配置组必须打开(自己配置视频路径和工程目录),例如我的工程目录:
/root/ebs/videos/test.mp4
/root/ebs/projects/test
同时修改Image Load Cap 值1
Stage2.正常设置间隔和 强度抠图即可
Stage3.Group3所有的组都启用和第一个配置组启用
tagger反推需要自己添加
Checkpoint模型lora 以及换脸需要自己修改
这里没用原作者的插件保存文件(他的不能自动创建文件)
测试好以后,修改group3-4_a: seed everywhere节点,seed改成固定值,
删除测试的生成文件夹img2img_key\img2img_upscale_key(避免执行Stage6发生序列上的问题)
关闭Group3-4_e.Stage.3.Preview(测试图用于观察使用,正式批量操作关闭这个组)
修改Image Load Cap 值0(0默认加载所有图片)
Stage5.只打开基础配置组和Stage5这个组
生成文件后用ebs软件执行第Stage6
如果是云端,需要用到上面安装的zip,压缩后下载,执行完后把生成文件上传
压缩命令参考:zip -r test.zip ./test/
解压命令参考:unzip file.zip
Stage7.只打开基础配置组和Stage7这个组
执行会快速生成结果
----------------------------------------------------------------
已上是所有内容,有问题可以私我+v: 1558394401,备注AIGC方便区分