Shakker-Labs

FLUX.1-dev-ControlNet-Union-Pro-2.0

地址 https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0

FLUX.1-dev-ControlNet-Union-Pro-2.0

此存储库包含 Shakker Labs 发布的统一 ControlNet for FLUX.1-dev 模型。我们提供在线演示。

基调

与 Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro 相比，

Remove 模式嵌入，具有更小的模型尺寸。

改进精明和姿势，更好的控制和美学。

添加对柔化边缘的支持。删除对 tile 的支持。

模型卡

此 ControlNet 由 6 个双块和 0 个单块组成。模式嵌入已删除。

我们使用 20M 高质量通用和人类图像的数据集从头开始训练模型 300k 步。我们在 BFloat16 中以 512x512 的分辨率进行训练，批量大小 = 128，学习率 = 2e-5，指导从 [1， 7] 中统一采样。我们将文本丢弃率设置为 0.20。

该模型支持多种控制模式，包括 canny、soft edge、depth、pose、gray。您可以将其用作普通的 ControlNet。

此模型可以与其他 ControlNet 结合使用。

推荐参数

您可以调整controlnet_conditioning_scale和control_guidance_end以获得更强的控制和更好的细节保留。为了获得更好的稳定性，我们建议使用 multi-condition。

Canny：使用 cv2。Canny， controlnet_conditioning_scale=0.7， control_guidance_end=0.8.

软边：使用 AnylineDetector，controlnet_conditioning_scale=0.7，control_guidance_end=0.8。

深度：使用 depth-anything，controlnet_conditioning_scale=0.8，control_guidance_end=0.8。

姿势：使用 DWPose，controlnet_conditioning_scale=0.9，control_guidance_end=0.65。

灰色：使用 cv2.cvtColor，controlnet_conditioning_scale=0.9，control_guidance_end=0.8。