AI重塑PS新范式 | “魔法笔MagicQuill”竟能读懂你的创意，不会PS也能秒变{设计大师}！

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

“ 图像编辑任务是指通过对数字图像进行各种修改和改进，以获得特定的视觉效果或满足特定需求的过程。这些任务旨在改变图像的外观、构图、颜色、质量或内容，以满足用户的编辑目标。传统的PS算法需要用户执行复杂的操作才能凑合完成编辑任务，而AI加持之后的PS可以让你更高效的完成图像编辑任务。尽管扩散模型已经取得了快速的进展，最近也有人试图增强该类算法的控制能力，但实现这种细粒度和精确的编辑仍然存在困难，这通常是由于缺乏用于细粒度控制的直观界面和模型。作者的目标是开发一个强大的、开源的、交互式的精确图像编辑系统，使图像编辑任务变得简单高效。该系统无缝集成了三个核心模块：编辑处理器、绘画助手和创意收集器。作者开发了MagicQuill，这是一个集成的图像编辑系统，旨在支持用户快速实现他们的创造力。该系统从一个流线型但功能强大的界面开始，使用户只需寥寥几笔就能很好的表达他们的想法（例如，插入元素、擦除对象、更改颜色等）。”

项目主页-https://magicquill.art/demo/

代码链接-https://github.com/magic-quill/magicquill

HF链接-https://huggingface.co/spaces/AI4Editing/MagicQuill

论文链接-https://arxiv.org/pdf/2411.09703

01-图像编辑任务简介

图像编辑任务是指通过对数字图像进行各种修改和改进，以获得特定的视觉效果或满足特定需求的过程。这些任务旨在改变图像的外观、构图、颜色、质量或内容，以满足用户的编辑目标。图像编辑任务可以涉及以下几个关键方面：

裁剪和调整：这是最基本的图像编辑操作之一，通过裁剪图像的一部分或调整图像的大小和比例，来改变图像的构图和尺寸。
色彩和对比度调整：通过调整图像的亮度、对比度、饱和度和色调等参数，可以改变图像的色彩效果和整体视觉感受。
滤镜和特效：应用滤镜和特效可以赋予图像不同的风格和视觉效果，例如黑白效果、模糊、锐化、油画效果等。
移除或添加元素：通过图像编辑，可以从图像中移除不需要的元素，如红眼、瑕疵、水印等。同时，也可以添加新的元素，如文本、图标、贴纸等。
图像修复和修复：修复旧照片的损坏、修复图像中的缺陷或恢复图像的细节，是图像编辑任务中的重要部分。
背景编辑和合成：通过更改图像的背景或将多个图像合成为一个图像，可以创造出全新的场景和视觉效果。
图像转换：图像编辑还涉及将图像转换为其他格式或使用不同的编码方式，以满足特定的需求和应用场景。

图像编辑任务在多个领域有广泛的应用，包括摄影、设计、广告、媒体制作等。从个人用户对社交媒体照片的编辑，到专业摄影师对照片的后期处理，图像编辑提供了丰富的工具和技术，使用户能够实现对图像的个性化和创造性的修改和改进。

02-Magicquill背景简介

当前，对数码照片进行精确和高效的编辑仍然是一个重大挑战，特别是在进行细微修改时。如上图所示，考虑编辑一位女士的肖像，其中需要进行特定的修改：将衬衫转换为定制设计的夹克，在设计良好的形状的精确位置添加花冠，将她的头发部分染成特定的颜色，并去除背景的某些部分以改善她的外观。尽管扩散模型已经取得了快速的进展，最近也有人试图增强该类算法的控制能力，但实现这种细粒度和精确的编辑仍然存在困难，这通常是由于缺乏用于细粒度控制的直观界面和模型。

这些挑战凸显了对促进精确和高效修改的交互式编辑系统的迫切需求。一个理想的解决方案是使用户能够指定他们想要编辑的内容、在哪里应用更改以及如何显示修改，所有这些都在一个用户友好的界面中，简化了编辑过程。

03-Magicquill算法简介

作者的目标是开发一个强大的、开源的、交互式的精确图像编辑系统，使图像编辑任务变得简单高效。该系统无缝集成了三个核心模块：编辑处理器、绘画助手和创意收集器。编辑处理器确保高质量、可控的编辑生成，在颜色和边缘调整中准确反映用户的编辑意图。绘画助手增强了系统预测和解释用户编辑意图的能力。Idea Collector是一个直观的界面，允许用户快速轻松地输入他们的想法，大大提高了编辑效率。

作者开发了MagicQuill，这是一个集成的图像编辑系统，旨在支持用户快速实现他们的创造力。该系统从一个流线型但功能强大的界面开始，使用户只需寥寥几笔就能很好的表达他们的想法（例如，插入元素、擦除对象、更改颜色等）。然后，这些交互由多模态大型语言模型（MLLM）监控，达到实时预测用户意图，从而绕过了提示输入的需要。最后，作者应用了强大的扩散先验，并通过精心学习的双分支插件模块进行了增强，按照精确控制的方式处理编辑请求。

04-Magicquill算法应用场景

04.01-新增某对象

如上面的视频所示，使用添加画笔在提示词的指导下可以在原图中添加一些细节和元素，如图中的小鹿和项链。即用自己生动的笔触表达你的想法！

04.02-移除某对象

如上面的视频所示，减法画笔可以根据提示删除多余的细节或重绘区域。如果图片中有什么你不满意的，就把它减去！

04.03-新增&移除某对象

如上面的视频所述，将加法和减法画笔组合在一起，擦除不该存在的对象，新增你需要的对象，用户可以快速创造出令人惊叹的组合效果！

04.04-局部区域上色

如上面的视频所述，彩色画笔可以精确地为图像中的部分区域着色，与画笔的颜色相匹配，从而更好的满足你的个性化需求。

05-Magicquill算法整体流程

上图展示了整个图像编辑系统，该系统框架由三个集成组件构成：一个具有双分支架构的编辑处理器，用于可控的图像修复，一个用于实时意图预测的绘画助手，以及一个提供多功能画笔工具的创意收集器。这种设计通过基于笔触的交互实现了直观和精确的图像编辑。

当用户有了一个想法之后，首先利用文生图创作一张基础的图片；然后，利用绘画助手中的MLLM来对其进行快速修改，生成相应的文本提示词；接着，将不同的控制信息输入到一个扩散模型中生成最终的结果。

06-Magicquill算法实现细节

06.01-数据处理流程

上图展示了该算法的数据处理流程。通过CNN对输入图像提取边缘信息，并通过尺度降采样对其进行颜色简化。然后根据画笔信号生成三个编辑条件：编辑蒙版、边缘条件和颜色条件，它们共同为图像编辑提供控制信息。

06.02-编辑助手详解

上图展示了编辑处理器的实现细节。该架构通过两个专门的分支扩展了潜在扩散UNet：一个用于内容感知的每像素修复指导的修复分支和一个用于结构指导的控制分支，从而实现了基于画笔的精准图像编辑。

06.03-数据集构建过程

上图展示了该算法的训练数据集构建过程。图a展示了DCI数据集中的原始图像；图b展示了从原始图像中提取的边缘图；图c展示了具有最高边缘密度的选定掩模（以紫色突出显示）；图d展示了利用BrushNet修复增强掩模区域后的结果；图e展示了在选定区域上叠加边缘图的最终效果。

通过在修复后的图像上叠加边缘图，这样可以很好的模拟用户使用画笔笔划编辑图像的场景，因为边缘图类似于手绘草图。掩码和标签的边界框坐标继承自DCI数据集。

07-Magicquill算法性能评估

07.01-主观效果性能评估

上图展示了该算法与多个SOTA算法（SmartEdit、SketchEdit、BrushNet）在相同输入上的编辑效果。前两列展示了编辑的边缘和颜色条件，而最后一列显示了模型旨在重建的地面真实图像。

通过观察与分析，我们可以发现：SmartEdit利用自然语言进行指导，但在控制形状和颜色方面缺乏精度，通常会影响非目标区域。尽管BrushNet提供了无缝的图像修复，但即使使用ControlNet增强功能，它也很难同时对齐边缘和颜色。相比之下，Magicquill编辑处理器严格遵守边缘和颜色条件，实现了高保真条件图像编辑。

07.02-客观指标性能评估