字节跳动公司开源在HUGGING上的用于高效图像合成的轨迹分段一致性模型。

Hyper-SD,这是一种新颖的框架,它协同地融合了 ODE 轨迹保存和重构的优点,同时在步骤压缩期间保持近乎无损的性能。首先,我们引入轨迹分段一致性蒸馏,在预定义的时间步段内逐步进行一致性蒸馏,这有利于从高阶角度保存原始 ODE 轨迹。其次,我们结合人类反馈学习来提高模型在低步状态下的性能,并减轻蒸馏过程带来的性能损失。第三,我们集成了分数蒸馏,以进一步提高模型的低步生成能力,并首次尝试利用统一的LoRA来支持所有步骤的推理过程。大量实验和用户研究表明,Hyper-SD 对于 SDXL 和 SD1.5 来说都可以通过 1 到 8 个推理步骤实现 SOTA 性能。例如, 在 1 步推理中 ,Hyper-SDXL在 CLIP 分数上超过 SDXL-Lightning +0.68 ,在 Aes 分数上超过 +0.51 。

注:原作者为字节跳动公司,由于网站没有SD1.5-8STEP和SDXL-8STEP的LORA版本,因此仅上传方便使用。

测试用法:CFG-1 步数8~10