SD3大模型ComfyUI工作流-AiARTiST

SD1.5底模/SDXL底模 利用SD3高清放大

支持修脸、修手、后期放大


界面完全仿照WebUI搭建

SD1.5生图部分参照常规的WEBUI生图习惯,CFG部分适当降低


SD3高清放大部分,支持任意SD封装格式的V3底模,需要根据V3提示词规范填写提示词(或留空)


可选择是否开启 修手/修脸 (局部细化)


CN部分尚未完成,后期放大部分支持开启三组放大模型(默认开启一组)

————————————————————————————————————————

AiARTiST-CADS-SD3 工作流 商业设计及广告辅助系统

文件名:comfy_CADS3_workflows_sd3_medium_workflow_basic.json


适用于SD3-5.6G内置Clips模型(无需外置文本层)-含LoRA加载器

工作流请下载到本地配合ComfyUI使用,增加独立的LoRA加载版本


V3模型下载链接 : https://pan.baidu.com/s/1gRA3ezoP-rUbLAYM07lU6Q

提取码:5gw6


本地测试可以只下载 sd3_medium_incl_clips.safetensors 5.6G版(内置文本层,无T5)


ComfyUI —SD3m-CADS 中文基础工作流(已设置好基础出图配置准备后续更新)

6.13 更新了文生图部分,简化流程,直观体验。

6.15 更新了图生图部分,借鉴了阿屿同学的中文翻译文本框,感谢阿屿同学!

6.15 更新了文生视频部分,使用标准的SVD生产模块。

6.16 更新了V3版LoRA加载部分,目前已发布两发V3版本LoRA,可以加载测试。


SD V3 AiARTiST LoRA 清单:

SD3-艺术海报构图设计LoRA-CADS-AiARTiST

https://www.liblib.art/modelinfo/b63997beebad4bd88c7faff6c8948b94

SD3-1GIRL-人像LoRA-MIST-AiARTiST

https://www.liblib.art/modelinfo/676379a132764d05bec82bec30bc4bf6


适用于SDXL底模的V3风格模拟器(高对比/锐化/景深):

SD3模拟器2-XL-V3-Simulator-LoRA

https://www.liblib.art/modelinfo/7449642bdf39443aa66341837025c690

----------------------------------------------------------------------

稳定扩散3中型(V3 Medium)是一款多模态扩散变换器(Multimodal Diffusion Transformer,简称MMDiT),专门设计用于文本到图像的转换任务。相较于前代技术,它在图像质量、版式设计、复杂提示理解以及资源效率方面实现了显著提升,代表了AI生成艺术和设计领域的一项重要进步。


技术亮点延申:


图像质量提升:通过先进的扩散模型算法,V3 Medium能够生成细节更丰富、逼真度更高的图像,减少了传统生成模型中常见的模糊和人工痕迹,使得生成的图像更接近于真实摄影师或设计师的作品。


版式与字体处理(Typography):该模型在处理文字信息时展现出更高级的理解能力,不仅能够准确地根据文本描述生成相应的字体风格和排版布局,还能在图像合成中融入复杂的文字设计元素,这对于品牌标识、广告设计等领域尤为重要。


复杂提示理解:V3 Medium优化了对复杂、多层次提示指令的解析能力。用户可以通过详细而具体的描述来引导模型生成图像,包括特定的情感氛围、场景细节或是融合多个概念的创意图像,大大拓宽了创意表达的边界。


资源效率:在提高性能的同时,该模型还注重优化计算资源的使用,使得在有限的硬件资源下也能高效运行,这对于独立艺术家、小型工作室而言是个福音,降低了创作高质量视觉内容的技术门槛。


注意事项:

对于希望深入了解该模型技术细节的读者,建议查阅官方发布的研究论文,以获取更详尽的算法架构、训练方法及实验结果。




模型来源与使用建议:


对于本地部署或自我托管的应用场景,我们推荐使用ComfyUI进行推理操作。ComfyUI是一个用户友好的图形界面,便于用户在本地环境中便捷地利用V3模型进行图像生成任务,无需直接编写复杂的代码。

V3 Medium版本已在平台上架,用户可以直接通过云端接口调用该模型,享受高速、便捷的文本到图像生成服务,尤其适合没有本地高性能计算资源的用户或团队。


训练数据集详情:


V3的模型训练基于大量合成数据与精心筛选的公开可用数据集。基础预训练阶段覆盖了高达10亿张图像,这为模型构建了广泛而深厚的理解基础。在此基础上,我们进行了精细化调优,采用了3000万张高质量、聚焦特定视觉内容与风格的美学图像作为调优数据,确保模型能够生成既美观又符合特定风格要求的图像。同时,我们还融入了300万张偏好数据图像,这些数据帮助模型学习用户的审美偏好,从而在生成图像时更好地满足个性化需求,提升了用户体验和生成内容的相关性。通过这样大规模且针对性的数据训练策略,V3 Medium模型得以在保持广泛适用性的同时,对特定领域的图像生成展现出卓越的表现力和准确性。


为用户便利起见,SAI准备了V3 Medium模型的三种包装变体,每种变体均配备了相同的MMDiT与VAE权重。


  1. medium.safetensors:此包包含MMDiT和VAE权重,但未包含任何文本编码器。适合那些仅需图像生成核心功能且已有自定义文本处理方案的用户。
  2. medium_incl_clips_t5xxlfp8.safetensors:这个版本包含了所有必要的权重,特别是采用了T5XXL文本编码器的fp8版本,旨在平衡生成质量与资源消耗。它适合追求高质量生成结果同时具备相应硬件支持的用户。
  3. medium_incl_clips.safetensors:包含除了T5XXL文本编码器之外的所有必要权重,这意味着它对资源的需求最小,但缺少该高级文本编码器可能影响模型在理解和生成特定文本指令方面的性能。


预期用途

  • 艺术作品生成,应用于设计和其他艺术创作过程。
  • 教育或创意工具中的应用。
  • 对生成模型的研究,包括了解生成模型的局限性。 所有模型应用应遵循可接受使用政策。


非预期用途

该模型未经训练以提供关于人物或事件的真实或准确描述,因此用其生成此类内容超出了模型的能力范围。


安全性

V3秉承安全设计原则和负责任的人工智能部署策略,从模型预训练开始,直至持续开发、微调及部署的各个阶段,均实施了安全措施。尽管已采取多种缓解措施以减少严重危害风险,但强烈建议开发者根据自身应用场景进行额外测试并实施特定的安全缓解策略。


----------------------------------------------------------------------

V3 训练器脚本已更新,AiARTiST 将第一时间为您和您的业务提供服务。

----------------------------------------------------------------------

Lib会员可享有在线加速生成,方便在线搭配CADS系列LoRA使用。

模型清单: https://www.liblib.art/search?keyword=AiARTiST

免费模型占比 55% ,开源模型占比 95%

会员模型占比 40% ,闭源模型占比 5%


商用模型:

AiARTiST-CADS2.0 XL 商业广告辅助系统(企业定制)

https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f <<点击直达

----------------------------------------------------------------------

其他模型推广:


开源模型 UNIT-lib XL(已包含1GIRL权重,叠加使用可加强人像):

AiARTiST XL 基础单元 CADS2 LoRA 兼容版 站内链接

https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee


UNIT2XL基础单元2-图形设计与IP形象AiARTiST 站内链接

https://www.liblib.art/modelinfo/a202d2e89e2946539a52a5a4e937262d

UNIT-lib XL 开放会员下载,支持融合,会员同时享有在线加速生成


更明亮的3D效果,请搭配 ACG Playground V6 开源版

https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977 <<免费下载


ControlNET 配置优化方案及本地配置方案,请加群:

联系方式见 https://afdian.net/a/AiARTiST-lib 发电用户专享


----------------------------------------------------------------------

模型用途声明:


1. 您不得将此模型及其衍生版本(如融合模型版本)托管于计划赚取收入或捐赠的网站/应用程序。

2. 您不得直接售卖此模型及其衍生版本(如融合模型版本),除非您对此模型进行了足够程度的人工修改,使其在法律意义上可以被完全判定为您的个人作品。如果您违反本条,所造成的一切法律后果由您个人承担,请恕本人概不负责。

3. 您不能使用该模型故意制作或共享非法或有害的内容传播和输出,请您遵守公序良德,将此模型用于积极正面的用途。

----------------------------------------------------------------------

测试问题请留言,业务合作看个人首页 +V Zyuan980

AiARTiST | Metaverse 中国·山东 数字人/AiGC/元宇宙方向

做好工具人 服务艺术家 联系方式:https://afdian.net/a/AiARTiST-lib