12G显存都可以跑的OmniGen
低显存建议用 int8 模式,不然分辨率上去容易爆显存
https://github.com/chflame163/ComfyUI_OmniGen_Wrapper?tab=readme-ov-file
首次运行插件时将自动下载模型。也可以手动下载,在下面两个下载途径选择其一:
从Huggingface下载:
- 从 Shitao/OmniGen-v1 下载全部模型文件,并复制到
ComfyUI/models/OmniGen/Shitao/OmniGen-v1
文件夹; - 从 *********ai/sdxl-vae 下载 diffusion_pytorch_model.safetensors 和 config.json 两个文件,并复制到
ComfyUI/models/OmniGen/Shitao/OmniGen-v1/vae
文件夹。
- image_1: 可选输入图片1。如果输入,须在prompt中描述此图,用
{image_1}
指代。 - image_2: 可选输入图片2。如果输入,须在prompt中描述此图,用
{image_2}
指代。 - image_3: 可选输入图片3。如果输入,须在prompt中描述此图,用
{image_3}
指代。 - dtype: 模型精度,default为模型默认精度, 可选int8。默认精度大约占用12GB显存,int8大约占用7GB显存。
- prompt: 生成图片的提示词。如果有图片输入,请用
{image_1}
、{image_2}
、{image_3}
指代。 - width: 生成图片的宽度,必须为16的倍数。
- height: 生成图片的高度,必须为16的倍数。
- guidance_scale: 引导比例。较高的值会使模型的生成结果更倾向于条件,但可能损失图像的多样性和自由度。
- image_guidance_scale: 图片引导比例。
- steps: 图片生成推理步数。
- separate_cfg_infer: 在不同引导下分别对图像进行推理;这可以在生成大尺寸图像时节省内存,但会使推理速度变慢。
- use_kv_cache: 使用kv缓存以加快推理速度。
- seed: 随机种子。推理使用不同的种子产生不同结果。
- control_after_generate: 每次运行时种子值变化选项。
- cache_model: 设置为True时缓存模型,下次运行无需再次加载模型。