可图专属可控性灵魂组件CN模型发布

？？大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群！

Kolors ControlNet模型

自从可图Kolors文生图模型 和 可灵视频模型发布以来，以其惊艳的文生图质量与可灵视频优秀质量取得了社区的积极反馈。当前快手团队和社区也在积极的构建围绕可图和可灵的生态设施。继上期发布了ComfyUI支持和IPAdapter_plus支持，近日又新增了ControlNet模型的支持，发布了2个ControlNet模型和1个独立unet大模型：Kolors-ControlNet-Canny、Kolors-ControlNet-Depth、Kolors-Inpainting。可图Kolors文生图模型生态增加了更强的CN绘图控制性。其中Inpainting是作为独立unet大模型发布。同期也发布了IP-Adapter-FaceID-Plus与Dreambooth-LoRA组件，本文将聚集在ControlNet和Inpainting模型，FaceID与Dreambooth-LoRA将在后续文章介绍。

？ Kolors-ControlNet-Canny：https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Canny
？ Kolors-ControlNet-Depth：https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Depth
？ Kolors-ControlNet-Inpainting：https://huggingface.co/Kwai-Kolors/Kolors-Inpainting

可图Kolors系列文章，参见之前发布内容：

Kolors ControlNet演示

Canny与Depth

Inpainting

Kolors ControlNet体验

在发布Kolors ControlNet模型同时，官方ComfyUI-Kolors-MZComfyUI插件也已经新增MZ_KolorsControlNetLoader节点,用于加载可图ControlNet官方模型。关于ComfyUI-Kolors-MZ插件的安装，参考之前文章：[Kolors-MZ]可图已可用SD灵魂插件：可控性CN组件与风格一致IPA组件，可图生态里程碑的新跃进、国产可图大模型:厚积薄发,GLM3加持质的飞跃,ComfyUI最全指南与SD3综合评比孰更强？。

？插件地址：https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ

工作流界面

工作流中采用Florence2大模型反推提示，结合可图模型IP-Adapter模型，实现输入图片的临摹。

本文使用工作流已上传liblib平台可下载。工作流中主要新增MZ_KolorsControlNetLoader节点加载可图官方的ControlNet模型。然后下载对应的ControlNet模型，建议分别重名为：Kolors-ControlNet-Canny.safetensors 、Kolors-ControlNet-Depth.safetensors。

涉及绘图模型和工作流下载地址：

？ 可图kolors-base-1.0-vae-fp16：https://www.liblib.art/modelinfo/86dff3d48c5940e0891e6682f8165fc8
？ 可图Kolors-Inpainting官方重绘UNet模型：https://www.liblib.art/modelinfo/e45eee9ed8704a98ac86435220710c77
？ 可图Kolors深度ControlNet模型：https://www.liblib.art/modelinfo/1a67907f1c704b928b206f8487bd93e2
？ 可图Kolors硬边缘ControlNet模型：https://www.liblib.art/modelinfo/5e6f6e3073ae41cab8ca90d02e1d4352
？ Kolors-IPA&官方ControlNet工作流：https://www.liblib.art/modelinfo/bc0f3c1b911d4a75aca9d64c7efc676f

？ Kolors-局部重绘工作流：https://www.liblib.art/modelinfo/7c77fb6244724d58bd3a652798d73c60

？ Kolors-扩图工作流：https://www.liblib.art/modelinfo/31bca673161646ad932579caa28e8ec6

工作流已上传liblib平台，可在线运行。liblib工作流运行演示如下：

01. Canny硬边缘-反推临摹

这里使用了Anyline模型实现线条预处理，它针对线条处理会更精确。详情参见：让艺术创作更简单：CN新成员Anyline预处理器让SD绘图更精细控制线条画，SDWebUI使用指南。

反推提示词：

(qipao:1.3), A woman is standing in a room. She is wearing a pink dress with flowers on it. The woman has a flower in her hair. There are large windows behind the woman.

02. Depth深度-反推临摹

(qipao:1.3),(Bright eyes:1.3), A woman is standing in front of a door. She is wearing a pink dress with flowers on it. There is a blue ribbon around the neck of the dress. The woman has dark hair and a flower in her hair.

03. Inpainting-局部重绘

这里利用ComfyUI遮罩涂抹实现将输入图中不分区域变化。这里也可以合并为一个输入图，同时输出图像和遮罩。

中国女孩形象，美人鱼，色彩缤纷，美貌，水下，马克·莱登风，海底世界，珊瑚礁石，游动，(闭着嘴:1.3)

04. Inpainting-扩图

这里利用ComfyUI扩图节点实现了左右扩图200。核心使用了ComfyUI扩图节点扩大图像潜空间。

中国女孩形象，美人鱼，色彩缤纷，美貌，水下，马克·莱登风，海底世界，珊瑚礁石，游动，(闭着嘴:1.3)

？ Vidu全球上线：AI视频元年已到来,未来可期,可灵&Vidu&清影王者之争

？腾讯混元DiT1.2：惊艳视觉美感国产中文大模型,ComfyUI最新已支持与操作指南

？ [ComfyUI]PhotoMakerV2来袭：腾讯开源无需LoRA训练秒级实现增强人物风格化写真

？ ControlNetPlusProMax来袭：SDXL可控性灵魂CN组件再升级，多合一组件再添新功能

？ [ComfyUI]收缩模型UNET：突破SD模型尺寸限制，直出任意长款比例高清分辨率图像

？ StableMakeup：浓妆艳抹,粉妆玉琢;SD实现人物妆点花容迁移

？ EchoMimic续篇[ComfyUI]：懂王众星歌唱祖国，体验表情口型更生动自然的逼真数字人框架

？ EchoMimic：蚂蚁开源逼真数字人框架，表情口型更生动自然，本地部署包获取

？ LivePortrait让你的照片动起来，合成逼真眼部和嘴型表情动作视频

？ ControlNetPlus续篇：你仅需一个模型搞定XL绘图控制,无需担心磁盘告急,SDWeb特别篇

？ ControlNetPlus:CN大升级，是时候更新你的XL工具箱，一站式图像生成与编辑组件，ComfyUI使用指南

感兴趣加入[AGI技术交流群]+V

如果觉得文章不错，就请赞、在看与转发三连！

可图Kolors生态繁荣里程碑：专属ControlNet与Inpainting模型新成员，可控性灵魂组件