ComfyUI实现Ebsynth视频转绘工作流

请一定要看完文字说明,新手请绕路!

下载工作流后,需要本地或者远程桌面系统安装ebsynth,下载地址:

https://ebsynth.com/


准备工作流程如下:

1.导入工作流

2.安装缺失插件,如果有找不到插件名字,查看是否安装了这四个个插件:

cg-use-everywhere

ComfyUI-KJNodes

comfyui-job-iterator

comfyui-imgmake


如果comfyui-imgmake你安装的是我修改后的,地址如下:

https://gitee.com/analyzesystem/comfyui-imgmake.git

至于为什么要安装我修改后的看后面说明。


3.安装ffmpeg(云端使用安装命令:apt install ffmpeg)

4.pip install transparent-background

 这个有个坑,他的模型如果不给你自动下载,或者下载不了,如果遇到这种情况:

 修改目录下文件:ComfyUI/venv/lib/python3.10/site-packages/transparent_background/Remover.py

 大概是44行左右(把home_dir目录修改成自己的可见目录):

   cfg_path = os.environ.get('TRANSPARENT_BACKGROUND_FILE_PATH', os.path.abspath(os.path.expanduser('~')))

   home_dir = "/root/ComfyUI/models/transparent-background"


再运行还不能自动下载,就自己去github下载模型到自己目录:(/root/ComfyUI/models/transparent-background

三种模型地址如下:

base:

 url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base.pth"

fast:

 url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_fast.pth"

base-nightly:

 url: "https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base_nightly.pth"


5.如果是使用云端还需要安装zip压缩例如: apt install zip


完成以上工作后开始常规使用流程


Stage1.基础配置组必须打开(自己配置视频路径和工程目录),例如我的工程目录:


/root/ebs/videos/test.mp4

/root/ebs/projects/test

同时修改Image Load Cap 值1

如果遇到remover = Remover(fast=tb_use_fast_mode, jit=tb_use_jit, device=device)这里报错,改成remover = Remover(jit=tb_use_jit, device=device)


Stage2.正常设置间隔和 强度抠图即可

           注意如果要自动化,不想手动改名称,修改文件gj_image.py  156行    img2img_key改成video_key

            output_dir = os.path.join(output_dir, "img2img_key")  # 使用传入的 output_dir


Stage3.Group3所有的组都启用和第一个配置组启用

           tagger反推需要自己添加

           Checkpoint模型lora 以及换脸需要自己修改

           这里没用原作者的插件保存文件(他的不能自动创建文件)

           测试好以后,修改group3-4_a: seed everywhere节点,seed改成固定值,

           删除测试的生成文件夹img2img_key\img2img_upscale_key(避免执行Stage6发生序列上的问题)

          关闭Group3-4_e.Stage.3.Preview(测试图用于观察使用,正式批量操作关闭这个组)

          修改Image Load Cap 值0(0默认加载所有图片)

          此时Stage3 Stage4 都已经完成(Controlnet图效果不满意自己微调)


Stage5.只打开基础配置组和Stage5这个组

            注意bug又来了,开源插件的ebs.py. 79行

           传入参数少了一个SYNTHS_PER_PROJECT(stage5.py内有个默认值15,我没仔细研究代码修改如下)

            ebsynth_utility_stage5(dbg, project_args, is_invert_mask,15)

            生成文件后用ebs软件执行第Stage6

            如果是云端,需要用到上面安装的zip,压缩后下载,执行完后把生成文件上传

            压缩命令参考:zip -r test.zip ./test/

            解压命令参考:unzip file.zip

Stage7.只打开基础配置组和Stage7这个组

                执行会快速生成结果

----------------------------------------------------------

如果上面安装的是我修改后的comfyui-imgmake,那么你需要操作的步凑简化后如下:



Stage1.基础配置组必须打开(自己配置视频路径和工程目录),例如我的工程目录:


/root/ebs/videos/test.mp4

/root/ebs/projects/test

同时修改Image Load Cap 值1


Stage2.正常设置间隔和 强度抠图即可

           

Stage3.Group3所有的组都启用和第一个配置组启用

           tagger反推需要自己添加

           Checkpoint模型lora 以及换脸需要自己修改

           这里没用原作者的插件保存文件(他的不能自动创建文件)

           测试好以后,修改group3-4_a: seed everywhere节点,seed改成固定值,

           删除测试的生成文件夹img2img_key\img2img_upscale_key(避免执行Stage6发生序列上的问题)

          关闭Group3-4_e.Stage.3.Preview(测试图用于观察使用,正式批量操作关闭这个组)

          修改Image Load Cap 值0(0默认加载所有图片)

         

Stage5.只打开基础配置组和Stage5这个组

            生成文件后用ebs软件执行第Stage6

            如果是云端,需要用到上面安装的zip,压缩后下载,执行完后把生成文件上传

            压缩命令参考:zip -r test.zip ./test/

            解压命令参考:unzip file.zip

Stage7.只打开基础配置组和Stage7这个组

                执行会快速生成结果

         

----------------------------------------------------------------


已上是所有内容,有问题可以私我+v: 1558394401,备注AIGC方便区分