模型介绍

I 引言

在本介绍中，您将了解：

  1. 模型介绍（见 II 部分）；
  2. 使用指南（见 III 部分）；
  3. 训练参数（见 IV 部分）；
  4. 触发词列表（见附录 A 部分）

II 模型介绍

动漫插画设计XL，或称 AIDXL 是一款专用于生成二次元插图的模型。它内置了 200 种以上（随着更新越来越多）的插画风格，依靠特定触发词（见附录 A 部分）触发。

优点：构图大胆，没有摆拍感，主体突出，没有过多繁杂的细节，认识很多动漫人物（依靠角色日文名拼音触发，例如，“ayanami rei”对应角色“绫波丽”，“kamado nezuko”对应角色“祢豆子”）。

模型难度较大，不推荐入门者使用。


III 使用指南（将与时俱进）

推荐使用 ComfyUI 生成图像……

现在，WebUI和ComfyUI在生成式无明显差别。


1 生成参数

如果您无法生成与预览图相似的图像，请参照以下指南。

  1. 建议图像总分辨率（总分辨率=高度x宽度）大于 1024x1024 且 小于 1024x1024x1.5，否则生成的图像可能质量不高。此为经验法则，即生成图像的总分辨率应高于训练集图像的总分辨率，且同时低于训练集图像总分辨率的 1.5 倍，以防止模糊和畸变。例如，本模型在 1024x1024 总分辨率上训练，因此您最大可以生成 1024x1536（以 2:3 为例）分辨率的图像。
  2. 推荐使用 tag + 自然语言 的形式书写正面提示词。提高自然语言中的名词密度，避免使用抽象形容词，或用多个形容词叠加地修饰名词。另外，无需使用过多负面提示词。建议负面提示词数量不超过10个。
  3. 不进行“Clip Skip”操作，即 Clip Skip = 1。
  4. 采用 “dpmpp_2m” 采样器（sampler），搭配 “karras” 调度器（scheduler），该组合在 webui 里称为 DPM++ 2M Karras。在 7 CFG Scale 上采样 35 步以上。
  5. 仅需要使用模型本身，而不使用精炼器（Refiner）。
  6. 使用基底模型 vae 或 sdxl-vae。
  7. 使用附录部分提供的触发词以活用风格化。注意，从v0.5版本开始将支持部分质量提示词，如 best quality, masterpiece 等。使用它们将提高图像平均的美学质量（并不总是）。


2 注意事项

  • 使用 SDXL 支持的 VAE 模型、文本嵌入（embeddings）模型和 Lora 模型。注意：sd-vae-ft-mse-original 不是支持 SDXL 的 vae；EasyNegative、badhandv4 等负面文本嵌入也不是支持 SDXL 的 embeddings。
  • 生成图像时，强烈推荐使用模型专用的负面文本嵌入（下载参见  https://civitai.com/models/144327/negative-embeddings-aidxl-series-models ），因其为模型特制，故对模型几乎仅有正面效果。
  • 由于初步训练，版本新增触发词将在当前版本效果相对较弱或不稳定。


3 实验

  • 触发词所指向的风格能够相互融合而产生新的风格。
  • 自 v0.5 版本开始，新增了质量提示词。


IV 训练参数

以 SDXL1.0 为底模，使用大约 2w 张自己标注的图像在 5e-6 学习率，总长为 1 的余弦调度器上训练了约 100 期得到模型 A。之后在 2e-7 学习率，其余参数相同的条件下，训练得到模型 B。将模型 A 与 B 混合后得到 AIDXLv0.1 模型。


V 对比基于 SD1.5 的 AID

2023/08/08：AIDXL 使用与 AIDv2.10 完全相同的训练集进行训练，但表现优于 AIDv2.10。AIDXL 更聪明，能做到很多以 SD1.5 为底模型无法做到的事。它还能很好地区分不同概念，学习图像细节，处理对 SD1.5 来说难于登天的构图，几近完美地学习旧版 AID 无法完全掌握的风格。总的来说，它绝对拥有比 SD1.5 更高的上限，我会继续更新 AIDXL。


附录

A. 触发词列表

非常抱歉。基于安全原因，本页面不提供任何提示词列表。完整提示词列表请参见 CivitAI 模型页面的附录A部分： https://civitai.com/models/124189/anime-illust-diffusion-xl