In-Context Edit (ICEdit),它能让你像与设计师对话一样,通过简单的文本指令,智能地编辑你的图像,而无需繁琐的蒙版操作。
什么是 In-Context Edit (ICEdit)?
简单来说,In-Context Edit (ICEdit) 是一种AI图像编辑方法,它能够理解你提供的原始图像、原始图像的描述(源上下文)以及你希望进行的编辑指令(目标上下文)。基于这些信息,ICEdit可以精准地修改图像的特定部分,同时最大限度地保留未编辑区域的细节和整体风格。其最大的魅力在于“上下文感知”和“无需蒙版”,这使得AI图像编辑变得前所未有的直观和高效。
技术架构
ICEdit采用了基于 DiT( FLUX)实现了一种无训练的上下文编辑范式,模型通过处理 “上下文提示” 和源图像(左面板)来生成编辑输出(双联画的右面板)。尽管仍存在一些持续的失败案例,但实现的优势建立了一个强大的基线,有助于通过高效的微调来提高精度。在 DiT 框架内实现了参数高效的 LoRA 适配器和混合专家(MoE)路由,这在编辑过程中动态激活特定任务的专家。该模型在最少的公开数据(5 万)上进行训练,无需架构修改或大规模再训练,即可在多种场景下提高编辑成功率。同时ICEdit还设计了一种推理时间扩展策略以提高编辑质量。
示例:
风格转换:convert the image into anime illustration
修改服装颜色:change the white shirt to xxxx color
修改发型:change the girl hair to xxxxxx hair
小幅度修改姿态:make the girl eyes closed,make the girl smlie
增加物品:the girl wears/ a cat
移除物品/文字/水印:remove picture the xxx/text/watermark
想了解更多细节和操作步骤?请 点击 。