黑森林Kontext LoRA：多种新奇图像编辑新玩法！魔搭首发！附炼丹训练指南
黑森林的Kontext 模型已经开源了一段时间，社区生态迅猛发展，Kontext LoRA已经层出不穷。就在今天，魔搭社区的开发者开源了4种全新的Kontext LoRA，blingbling的雕像风格、拿捏氛围感的图像美学提升神器...
本期文章，魔搭带你玩转这几个Kontext 的 LoRA，解锁新奇的图像编辑新玩法！
|
超低分辨率图像的高清化：让表情包重新焕发生机 |
|
|
|
|
|
图像外扩：超大范围的图像补全 |
|
|
|
|
|
图像美学提升：拿捏住氛围感 |
|
|
|
|
|
玻璃雕像：一键拥有blingbling的雕像风格 |
|
|
|
|
|
|
|
|
|
|
不过这还不是这个 LoRA 模型的全部功力，它在表情包处理上有奇效。例如，下面是一张经过多次转发导致出现“电子包浆”的表情包图片。使用这个 LoRA 模型，就可以发挥 Kontext 模型的图像编辑能力消除其中的噪声，让表情包重现生机。
|
|
|
|
|
|
当图像内容出现模糊时，模型也可以自行发挥想象力，补充其中的细节。例如下面这张表情包，经过高清化处理之后，呈现出尴尬又不失魔性的笑容。
|
|
|
|
|
|
https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-SuperOutpainting
|
|
|
|
|
|
而如果待补全区域过大，则是图像外扩任务。如下的例子中，给定几朵花，模型可以绘制整个场景。
|
|
|
|
|
|
|
|
|
|
|
|
以下是人物场景下，连续进行两次图像外扩的例子。
|
|
|
|
|
|
|
|
我们可以利用这个LoRA模型的图像外扩和局部编辑能力来做一下有意思的事情。比如我们可以进行经典表情包的局部替换，如下例所示，输入指令为：Outpaint the image. A chicken-headed man in suspenders is playing the basketball.
|
|
|
|
|
|
可以看到 "Kuntext" 的出色生成效果。还可以进行热门表情包的组合，比如，先手动将表情包粘贴到一张图上，然后让模型进行重绘，如下例所示。
|
|
|
|
|
|
进一步地，可以只保留原图的少部分内容，让模型自由发挥，比如下面两个例子，输入指令均为：Outpaint the image. A chicken-headed man in suspenders is playing the basketball with a white background.
|
|
|
|
|
|
|
|
|
https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-ArtAug
Enhance the aesthetic quality of this image.
Kontext 模型在训练过程中其实已经潜移默化地学习到了一定的图像理解能力，既然如此，模型就有理解什么是“美”的能力，经过训练后可以进一步激发其能力，用于提升图像的美感。例如这只小鸟的图片，模型可以增加环境细节，让画面看起来更协调。
|
|
|
|
|
|
当然，美学提升后的图片可以继续作为模型输入，从而进一步提升美学质量。上面的图像经过多次处理后，呈现出深邃的景深感。
|
|
|
|
|
|
下面这个例子也是类似的，经过多次美学提升后，画面中晚霞的光线更加柔美，四周也出现了姹紫嫣红的花朵。
|
|
|
|
|
|
|
|
|
|
|
|
模型链接：
https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-blingbling
编辑指令：
Transform into a glass sculpture.
这个 LoRA 可以端到端地实现风格迁移，把任何物体转化为玻璃雕像。这是一种特殊的风格，由于玻璃透明的特性，模型不仅要保持物体结构，还需要推理出背后的景物，并根据环境光照调整玻璃表面光线的反射和折射。但对于 Kontext 模型来说，这个任务稍经训练即可完成。我们来看几组例子：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
此外，由于 FLUX 和 Kontext 模型的结构相似性，原本为 FLUX 训练的 LoRA 模型也可用于 Kontext 的风格迁移，下面是一些社区用户提供的例子。
视觉风格：抽象色块
模型链接：
https://modelscope.cn/models/cancel13/cxsk
编辑指令：
Translate the style into abstract color blocks.
|
|
|
|
|
|
视觉风格：线条插画
模型链接：
https://modelscope.cn/models/Dyrice/F.1_InternetCommercialFlatPortraitIllustration
编辑指令：
Convert the visual style into line illustrations.
|
|
|
|
|
|
以上提及的几个LoRA 模型可以直接在魔搭社区的 AIGC 专区进行生图体验。
在线生图地址：
https://modelscope.cn/aigc/imageGeneration?tab=advanced
|
|
本地部署推理和训练时，可使用开源项目 DiffSynth-Studio。
DiffSynth-Studio 本地部署推理
安装：
git clone https://github.com/modelscope/DiffSynth-Studio.gitcd DiffSynth-Studiopip install -e .
推理：
import torchfrom diffsynth.pipelines.flux_image_new import FluxImagePipeline, ModelConfigfrom PIL import Imagefrom modelscope import snapshot_downloadpipe = FluxImagePipeline.from_pretrained(torch_dtype=torch.bfloat16,device="cuda",model_configs=[ModelConfig(model_id="black-forest-labs/FLUX.1-Kontext-dev", origin_file_pattern="flux1-kontext-dev.safetensors"),ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="text_encoder/model.safetensors"),ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="text_encoder_2/"),ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="ae.safetensors"),],)pipe.load_lora(pipe.dit,ModelConfig(model_id="DiffSynth-Studio/FLUX.1-Kontext-dev-lora-highresfix", origin_file_pattern="model.safetensors"))image = Image.open("your_image.jpg")image = pipe(prompt="Improve the clarity.",kontext_images=image,embedded_guidance=2.5,seed=0,)image.save("output.jpg")
DiffSynth-Studio 训练
虽然 Kontext 的模型结构与 FLUX 一致，但作为一个图像编辑模型，其生成过程融入了额外的输入图像，因此训练算法也需要作出针对性的修改。DiffSynth-Studio 已经支持了 Kontext 原生编辑模式的训练。
以上这些 LoRA 模型都是基于 DiffSynth-Studio 训练的，训练教程可参考往期文章：
或进入 DiffSynth-Studio 的开源项目页面查看。
DiffSynth-Studio地址：
https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/flux
点击阅读原文，即可跳转模型链接~