[ComfyUI]Flux:官方IPA组件来袭,风格一致性迁移,Flux生态迅猛技术迭代学不完跟不上!

Flux:XLabs官方IPA组件来袭,风格一致性保持

??大家好!欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上,我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 !

Flux IP-Adaptert模型简介

前言,在Flux这款迄今为止最大的开源文生图模型出世以来,在时间内得到了社区的认可。并在官方和社区的推动下,Flux模型的生态发展速度很快。在之前文章已经介绍过,已支持的LORA模型([ComfyUI]Flux:第7款LORA已现,繁荣生态之门已开启,MJV6体验惊艳媲美MJ)、ControlNet3款官方模型([ComfyUI]Flux CN:XLabs官方发布CN组件V3,可控性效果显著提升,农村童年纯真回忆)。今天官方又再次发力,发布了在AIGC绘图中最重要组件功能:IP-Adapter组件,这是一款以风格一致性保持的核心组件,经常用使用于任务或图像的风格迁移,以及人物写真方面。

  • ? 模型地址:https://huggingface.co/XLabs-AI/flux-ip-adapter

IP-Adapter模型

xlabs-ai官方推出的这款IP-Adapter 模型是在 512x512 的分辨率下训练了 50k 步,在 1024x1024 分辨率下训练了 25k 步的。并且该模型能够适用于这两种分辨率(512x512,1024x1024)。

Flux IP-Adaptert模型体验

当前最新版本的ComfyUI结合社区插件x-flux-comfyui已支持在ComfyUI中体验。需要更新ComfyUI到最新版本,同时通过插件管理器搜索x-flux-comfyui并安装。

  1. 1. 下载flux-ip-adapter.safetensors 模型并将其放到 ComfyUI/models/xlabs/ipadapters/ 下。

  2. 2. 下载 Clip-L model.safetensors模型,并存放到 ComfyUI/models/clip_vision/ 下。

  3. 3. 使用新增的Flux Load IPAdapter 和 Apply Flux IPAdapter 节点,选择正确的 CLIP 模型,就可以开始体验了。

  4. 4. 官方说明:如果遇见结果不佳情况,可尝试设置 true_gs=2

  • huggingface地址:https://huggingface.co/XLabs-AI/flux-ip-adapter/tree/main

  • LIBLIB地址:https://www.liblib.art/modelinfo/6a9fef8ce1974c328955da2c4d635866

注意:当前版本昨天文章提到的低显存GGUF版本([ComfyUI]Flux:官方欲放弃NF4投向GGUF?更低质量损失,最低6G显存福音)还不支持,会报如下错误:

工作流界面

Flux-IP-Adapter工作流已上传liblib平台,并且已支持可一键完成在线运行。
LIBLIB工作流地址https://www.liblib.art/modelinfo/159a681e1d9b4feebd3d0b1d51cf4102
  • 注意:在笔者测试中IPA权重为0.9时候,图片画面质量几乎糊了。根据官方说明,将IPA的权重设置为0.7,以及true_gs=2 得出下面展示的图像。根据调试后的参数整体画质出图效果得到了显著的提升(似乎坏手的几率增大了),相对于官方之前的ControlNet Canny组件V1版本,出图质量明显高很多,这是在意料之外的。

01. 餐厅

Chinese girl, 20-old-years, holding sign with glowing golden text "AGI PoLang"

02. 豪华

Chinese girl, 20-old-years, holding sign with glowing golden text "AGI PoLang"

03. 莲叶

Chinese girl, holding sign with glowing golden text "AGI PoLang"

04. 悟空

the monkey king, looking majestic and menancing, showing a little teeth in his snicker,.holding sign with glowing golden text "AGI PoLang"

更多推荐文章:

?  [ComfyUI]Flux指尖艺术:指尖宠物&美甲&钻戒展品,清影AI视频惊艳生成

?  [ComfyUI]Flux CN:XLabs官方发布CN组件V3,可控性效果显著提升,农村童年纯真回忆

?  [ComfyUI]Flux:一花一世界,一叶一菩提,十二生肖,Flux万能模型无限创意

?  [ComfyUI]Flux:秀色可餐精品美食,谁愿来品尝?迄今最大开源万能模型

? Flux:直出UX设计稿图,LLM稿图生成前端应用代码,前端研发危机四伏?

? [ComfyUI]Flux新纪元:Flux第一个写实LORA和CN模型诞生,Flux生态新纪元

? Flux:穿越千年领略中国古代诗情画意,无限制分辨率直出书山画卷震撼视觉,美不胜收

? FLUX Pro:Flux最强闭源模型,无需4090在线即可享受超强美学艺术创作,任意无限比例直出

? FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏

? FLUX12B震撼发布:SD创始团队黑马出手,直出完美手指,23G迄今最大开源文生图模型

    感兴趣加入[AGI技术交流群]+V

    如果觉得文章不错,就请在看转发三连!