🤝如您有模型定制或其他合作、咨询需求,请联系微信: 13439222668。请简单注明来意,时间宝贵不闲聊哈,谢谢理解!
这是一个调节所绘制对象衣物多少的功能性LoRA。通过将LoRA权重从1.0调节至-1.0,可以实现绘制对象衣物的逐步增加。本模型在生成竖图时效果最好。
本模型受青龙大佬在此视频中所介绍的第一种方法“复印学习法”启发。我进行了一些改进以实现多张图情况下的批量训练。具体的步骤如下:
步骤一:挑选N组不同人物的状态A与状态B对比图片,并形成状态A图像训练集与状态B图像训练集。保证相同人物的状态A与状态B两张图片的文件名相同。
步骤二:对状态A训练集添加txt标签,每个图片只打一个可以区分不同人物的特殊词汇标签。比如有10个人物,那就给每个人物从jinitaimei1至jinitaimei10分配各自的标签。然后将状态A训练集的所有标签复制粘贴进状态B图像训练集中。
步骤三:选择与训练集画风相近的底模C,使用状态A图像训练集进行Lora训练直至模型过拟合,输入人物N的对应标签后,只能生成人物N的状态A照片。
步骤四:将训练得到的过拟合LoRA模型以1.0的比例融合进底模C中(更新:经进一步测试,勾选上same to strength效果会更好),然后用状态B图像训练集基于新底模进行Lora训练。该训练过程不一定要训练至严重过拟合,可以选择LoRA过程文件进行AI绘图测试,只要能通过调节权重,实现状态A至状态B的过渡即可。(更新:经进一步测试,还是过拟合程度高一些,Lora的效果更好。。)
步骤五:如果训练的LoRA所涉及场景较复杂,在高权重下会出现过拟合的情况。有两种改良的建议:一是进行LoRA分层调节,降低LoRA中与A/B状态切换无关的层数的权重;二是压缩LoRA的维度,比如从64压缩至4。
通过分层融合,改善了权重1时的皮肤质感
Improved skin texture at weight 1 with layered fusion