针对Qwen-Image-Edit-2509模型优化的皮肤真实感微调LoRA
注意:请留意版本差异。以V2.0版本为例,我同时上传了该版本训练过程中的中间步骤模型,您可以根据需要下载从1750步到2750步的各阶段模型。我附上了每个LoRA版本及不同训练步数的完整对比图,方便您找到最适合工作流程的最佳平衡点。
本仓库包含一个经过微调的低秩自适应(LoRA)模型,专门用于增强图像中人体皮肤的真实感与细节表现。该LoRA基于强大的Qwen/Qwen-Image-Edit-2509模型进行训练,利用其先进的图像编辑能力,特别聚焦于生成更自然、更细致的皮肤纹理。
该模型使用AI-Toolkit在本地RTX 5090显卡上进行了5000步训练,非常适合摄影师、数字艺术家以及任何希望提升生成或编辑图像中人像质量的用户。
模型说明
qwen-edit-skin LoRA是对Qwen/Qwen-Image-Edit-2509基础模型的专项微调。基础模型作为多功能图像编辑器,在多图像编辑和保持单图像一致性(特别是人物身份特征保留)方面表现卓越。本LoRA在此基础上专门优化人体皮肤的细节表现,为原始生成图像增添原本缺失的细节与真实感。
训练使用AI ToolKit的这个分支版本完成,其数据集构建采用如下逆向修饰流程:
- 选取多场景人物肖像实拍图(需裸露皮肤)
- 将原始图片标注为“目标图”(AFTER状态),对应标准Qwen编辑流程的预期效果
- 用Photoshop对图像进行高斯模糊和肤色平滑处理,弱化皮肤纹理/色调/毛孔细节
- 处理后的图片作为“对照图”(BEFORE状态)用于训练
训练参数
模型微调关键参数详见config.yaml文件:
硬件环境:
• GPU:NVIDIA RTX 5090
训练配置:
• 训练步数:5000
• 批大小:1
• 梯度累积:1
• 学习率:1.0e-04
• 优化器:adamw8bit
• 噪声调度器:flowmatch
• 分辨率:支持512/768/1024像素
• 精度:bf16
网络架构:
• 类型:LoRA
• 线性层秩和Alpha值:16
• 卷积层秩和Alpha值:16
采用adamw8bit优化器可显著降低训练内存占用,在消费级硬件上实现高效训练。flowmatch噪声调度器作为现代训练技术,能提升训练效率并生成更高质量的图像。值得注意的是,本LoRA架构中线性层与卷积层的Alpha值均设置为与秩相等(16),这种平衡配置是LoRA训练的常见起点,既能确保自适应学习按比例缩放,又可有效防止过拟合。
使用方法
使用前需加载Qwen/Qwen-Image-Edit-2509基础模型,然后加载qwen-edit-skin.safetensors权重文件。仓库中同时上传了中间步骤的权重供参考,但最终版本为qwen-edit-skin.safetensors。您还可使用附带的ComfyUI工作流示例对比不同权重的结果。
推荐权重值范围为1-1.5,示例中展示权重值为2的效果仅为演示过高强度下的表现。
应用场景
本LoRA适用于以下创意场景:
• 数字艺术家:为角色皮肤添加精细纹理
• 摄影师:进行人像精修与增强
• AI艺术爱好者:生成更具真实感的人物图像
局限性说明
本模型基于大型预训练模型微调,可能继承其固有偏差。训练数据集主要针对皮肤细节优化,可能无法完全均衡反映人类肤色的多样性。使用者应意识到这一点并负责任地使用模型。模型输出受输入提示词影响,建议使用描述性、包容性语言引导生成过程。
免责声明:本模型仅限艺术创作使用,使用者应对生成内容负责,遵守道德规范并尊重个人隐私与尊严。
触发指令
使用“make the subjects skin details more prominent and natural”作为提示词可激活图像生成效果。