Z-Image-Turbo 训练适配器

这是一个用于微调 Tongyi-MAI/Z-Image-Turbo 的训练适配器。 它是为了与 AI Toolkit 一起使用而设计的，但也可以在其他训练器中使用。 如果您在实现训练代码时有任何问题，请随时联系我。我很乐意帮助您。它也可以作为一般的去蒸馏 LoRA 用于推理，以去除 "Z-Image-Turbo" 中的 "Turbo"。

为什么需要它？

当您直接在步进蒸馏模型上进行训练时，蒸馏会很快崩溃。这会导致以不可预测的方式失去步进蒸馏。一个去蒸馏训练适配器可以显著减缓这一过程，使您能够在保留步进蒸馏（速度）的同时进行短时间的训练。

有什么缺点？

这实际上只是一个在微调蒸馏模型时显著减缓蒸馏过程的小技巧。蒸馏最终仍然会被破坏。这意味着，这个适配器对于较短的训练运行（如风格、概念和角色）非常有效。然而，长时间的训练运行可能会导致蒸馏被破坏到一定程度，以至于在移除适配器后会产生伪影。

它是如何制作的？

我使用 Tongyi-MAI/Z-Image-Turbo 生成了数千张不同大小和宽高比的图像。然后，我以较低的学习率（1e-5）对这些图像进行了 LoRA 训练。这使得蒸馏被破坏，同时保留了模型现有的知识。

它是如何工作的？

由于这个适配器已经破坏了蒸馏，如果您在其基础上训练一个新的 LoRA，新的 LoRA 将不会再破坏蒸馏，因为这个适配器已经对模型进行了去蒸馏。您的 LoRA 现在只会学习您正在训练的主题。在进行推理/采样时，我们移除这个训练适配器，留下您的新信息在蒸馏模型上，从而使您的新信息能够以蒸馏的速度运行。附上的是有无此适配器的短时间角色训练运行示例。