ByteDance SDXL-Lightning SDXL加速LoRA
文件名:ByteDance SDXL-Lightning加速LoRA_4step.safetensors
SDXL-Lightning 是一种闪电般快速的文本到图像生成模型。
它可以通过几个步骤生成高质量的 1024px 图像。有关更多信息,请参阅ByteDance的研究论文:
SDXL-Lightning:Progressive Adversarial Diffusion Distillation 渐进式对抗扩散蒸馏
作为研究的一部分,ByteDance将模型开源
ByteDance提供完整的 UNet 和 LoRA 检查点。完整的 UNet 模型具有最佳质量,而 LoRA 模型可以应用于其他基本模型。
[ 以下是huggingface上的SDXL-Lightning介绍页原文 ]
SDXL-Lightning is a lightning-fast text-to-image generation model. It can generate high-quality 1024px images in a few steps. For more information, please refer to our research paper: SDXL-Lightning: Progressive Adversarial Diffusion Distillation. We open-source the model as part of the research.
This repository contains checkpoints for 1-step, 2-step, 4-step, and 8-step distilled models. The generation quality of our 2-step, 4-step, and 8-step model is amazing. Our 1-step model is more experimental.
We provide both full UNet and LoRA checkpoints. The full UNet models have the best quality while the LoRA models can be applied to other base models.
开源 许可证:OpenRail++
OpenRAIL许可证的两个主要特点是
开放:这些许可证允许免版税访问和灵活的下游使用和重新分发许可材料,以及其任何衍生品的分发。
负责:OpenRAIL许可证嵌入了一组特定的限制,用于在已确定的关键场景中使用许可的AI工件。基于使用的限制以基于证据的 ML 开发和使用限制方法为依据,这迫使在促进 ML 的广泛访问和使用与公开许可的 AI 工件的有害使用产生的潜在社会成本之间划清界限。因此,虽然受益于对 ML 模型的开放访问,但用户将无法将该模型用于指定的受限方案。
-------------------------------------------------------------------------------------
测试例图使用的出图参数
触发词:无触发词,配合CADS使用时可以统一使用AiARTiST(非必须)
采样器测试了:DPM++ SDE Karras / DPM++ SDE 都可以正常出图
测试使用的lora权重:1,用法跟LCM/Turbo一样,像普通LoRA一样加载即可
推荐生成步数:4-8 CFG scale: 1-2.5 步数可以略微加大,但是CFG超过3就容易出错
动态CFG调节暂未测试,Lib在线出图正在测试中,配合其他LoRA使用上传了才能测。
以下是一张例图的完整测试出图信息:
This photo shows a chinese woman wearing a warm and textured sweater,holding a steaming cup in her hand. She sat in the dimly lit room,with soft golden lights illuminating her side. The lady is braiding her hair,seemingly fully focused on this moment,perhaps savoring the aroma of the drink. The background has a rural feel,with a plant in the vase and textured walls, <lora:sdxl_lightning_4step_lora:1>
Steps: 4, Sampler: DPM++ SDE Karras, CFG scale: 2, Seed: 2939442706, Size: 720x1280, Model hash: f89448a53f, Model: AiARTiST-CADS 商业广告辅助系统 XL版本, Clip skip: 2, Version: f0.0.14v1.8.0rc-latest-184-g43c9e3b5
该加速器可配合「AiARTiST-CADS 商业广告辅助系统 XL版本」使用,提高SDXL底模的出图效率。
底模链接:https://www.liblib.ai/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f
-------------------------------------------------------------------------------------
@misc{lin2024sdxllightning,
title={SDXL-Lightning: Progressive Adversarial Diffusion Distillation},
author={Shanchuan Lin and ***** Wang and **** ***g},
year={2024},
eprint={2402.13929},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
-------------------------------------------------------------------------------------