这里不分享具体的节点搭建过程,分享的是应用的思路流程。同时也是自己工作记录,工作流有搭建不合理的地方,还请各位大佬指点,同时也感谢网友工作流的分享。
这里实际用到了两个工作流。一个是 1.5 大模型工作流 https://www.liblib.art/modelinfo/e9e4d85d37124a0d8dfc2ffc2b22f387?from=personal_page ,一个是 Flux 工作流 https://www.liblib.art/modelinfo/83f4f84b66df4798a5f7d134a6589984?from=personal_page 。为什么要用两个工作流呢?
第一是利用 1.5 大模型丰富的 LORA 、节点生态以及 FLUX自然语言理解能力和出图品质,有人可能会问,为什么不用 XL 模型呢,这是因为有些线上工作流平台XL 模型是收费,1.5 是免费的
第二是减轻电脑硬件负担,了解过FLUX模型的都知道,它对硬件的要求非常高,标配是 32G 内存和 16G 显存起步,分开两步可以大大减轻硬件压力。期望后面可以有更加精炼更小的的版本。
工作流概览
第一个工作流:
1.限制图像区域,这个节点作用是限制图像大小,最好控制在 1024 以内,毕竟用的是 1.5 模型。同时也可以减轻显卡显存负担。
2. LORA 模型:全网独家|极致风光|山川湖海_V2.0和电商风格背景图模型_电商风格背景Style_V1,强度都设置 0.6 左右。大模型用的是1.5算法 majicMIX realistic 麦橘写实_v7
3. G-DinoSAM语义分割,这个是抠图节点,我个人习惯是自己抠好图再上传,也可以直接上传带背景的,描述一下主图也能抠的不错。
4.ControlNet,因为我的是白底图这里我就只了canny,强度控制 0.45 左右(千万不能设置为 1,小的参数有利于模型的发挥),如果上传的是带场景的产品图,可以增加一个depth控制景深。ControlNet作用是为了控制构图
5.BrushNet 节点更换背景,BrushNet加载器选择segmentation_mask_brushnet_ckpt.safetensors
6.细节迁移,让最终换好背景的产品图于原图更接近。
第二个工作流:Flux 模型和高清放大。把第一个 1.5 模型的工作流预览图贴到这个工作流,提示词一模一样的复制过来。用的是dev-fp8,CFG 为 1,降噪强度设置为 0.75(设置合适的参数,既可以保持一定的构图又可以让 Flux 模型有一定发挥空)
此时画出来的产品背景细节是有细节了,尤其是石头、手表的倒影、水花溅起的细节都非常真实了,背景也有了景深,整体更加写实,但是产品跟原图差很远,这里就需要PS 了。
左边是 1.5模型出图 右边是 Flux+高清放大
由于有了倒影和水花,只需要简单到 PS 里合成调色即可。
产品换背景工作流(1.5 模型).json
链接:https://pan.baidu.com/s/1glDutwnoxDqeILhRi9reBA
提取码:xepb
flux细化+模型放大.json
链接:https://pan.baidu.com/s/14H72sKEQtfyz4taEMaMuOg
提取码:xepb