返回

SD必备知识系列三：PuLID面部特征一致性风格保持与迁移，轻松搞定私人写真摄影，风格迁移模型评比

PuLID：面部特征一致性风格保持与迁移

随着文生图模型的技术发展成熟，在绘图中一直存在强述求：如何保持图像的身份特征风格一致性迁移或风格多样化变化?在这一技术领域也出现了越来越多的技术模型和组件实现身份特征的保持和迁移。今天文章内容主要就国内大厂字节跳动和小红书开源的几个主流技术评比：PuLID、IP-Adapter以及InstantId。

感兴趣同学可参考之前文章：

另外，本文中使用的绘图模型是来自哩布平台上发布了国产写实摄影模型：墨幽人造人XL。该模型是一款可出图商用的写实摄影模型。该模型在人物写实真实度方面有着优秀的图像质量，以及优秀的光影视觉冲击，丰富且富有感染力的情绪表达，不论是在影棚的时尚大片、真实感的户外摄影、自然的手机随拍、或是艺术写真方面均有不错的绘图表现。

墨幽人造人XL：https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b

PuLID模型简介

PuLID是最新字节开源的，因此本文主要介绍PuLID在SD-WebUI中安装指南。关于IP-Adapter以及InstantId请参考社区介绍。

PuLID是一种类似于ip-adapter的方法，用于保持面部身份特征和风格迁移模型。PuLID同时使用了insightface嵌入和CLIP嵌入，这与ip-adapter faceid plus模型的做法类似。不过，在将图像传递给CLIP之前，PuLID会使用facexlib进行额外的步骤，即将面部从背景环境中遮罩出来。PuLID还使用了Eva CLIP代替了普通的CLIP。在attn overrides方面，PuLID也做了一些比IPAdapter做了更多的事情，比如它对张量进行了零填充，并添加到隐藏状态的正交性中。更多PuLID介绍参考之前文章：字节PuLID：高效身份ID特征定制，ComfyUI使用指南、字节PuLID：高效身份ID特征定制新方法，无需复杂微调仅一张图实现

PuLID安装指南

01. 安装sd-webui-controlnet-evaclip扩展

PuLID使用了evaclip嵌入和insightface嵌入作为proj模块输入。因此，为了使用这个特性，需要安装sd-webui-controlnet-evaclip插件，插件地址为：https://github.com/huchenlei/sd-webui-controlnet-evaclip。

02. 模型下载

同时需要下载对应模型并放置在目录stable-diffusion-webui/models/ControlNet下，可以在线下载：https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors。

在这里需要注意facexlib和evaclip涉及的对应模型会首次运行时候自动下载。但在笔者测试中并未自动下载，经过调试插件代码和手动下载解决。

  • ？ 需要下载模型detection_Resnet50_Final.pth、parsing_parsenet.pth、parsing_bisenet.pth、并放置在目录 /stable-diffusion-webui/models/GFPGAN/ 下，下载地址为：https://huggingface.co/damaimai/parsing_parsenet.pth/tree/main

  • ？ 原则上这会利用huggingface包自动下载，不用急着手动下载，在上面问题解决后可以再次运行查看是否自动下载。模型为：QuanSun/EVA-CLIP放置 /stable-diffusion-webui/extensions/sd-webui-controlnet-evaclip/models，需要使用huggingface_cli下载整个repo：https://huggingface.co/QuanSun/EVA-CLIP/tree/main

03. ControlNet单元设置

在ControlNet中需要设置一个额外的单选组选择PuLID模式，请注意升级ControlNet插件版本（请确保版本>=1.449）。

04. PuLID体验

绘图配置

  • ？ 绘图模型：墨幽人造人XL模型

  • ？ 迭代步数：30步

  • ？ 采样器：DPM++ 2M Karras

  • ？ CFG scale: 7


  • 本文使用到模型下载地址（AIGC绘图问题可文末加群交流）：

  • ？ 墨幽人造人XL模型 ：https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b

  • ？ add-detail-xl LoRA模型：https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa

  • ？ DetailedEyes_XL LoRA模型：https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53


masterpiece painting, buildings in the backdrop, kaleidoscope, lilac orange blue cream fuchsia bright vivid gradient colors, the scene is cinematic, (1girl:1.2), portrait,, emotional realism, double exposure, watercolor ink pencil, graded wash, color layering, magic realism, figurative painting, intricate motifs, organic tracery, pol,  <lora:SDXL Detail:1> <lora:DetailedEyes_XL_v3.0:1>

01. Fidelity风格效果

02. Style风格效果

在两种模式之间仅存在微笑差别，笔者并未看出明显差异。

02. 多输入图像

SDWebUI配置

输出效果

注意：与InstantId相比，PuLID需要设置更强的提示才能使输出风格化。

多风格迁移模型评比

绘图配置和提示语等设置同上一小节，这里不在累述。

IP-Adapter配置

提示语中增加ip-adapter-faceid LoRA触发词：

IPA插件配置：

InstantId配置

InstantId插件则需要设置两个CN单元配置启用，并且请确保单元配置顺序：

CN单元0配置：

CN单元1配置：

输出效果对比

PuLID InstantId IP-Adapter

从从上面两组对比图中，能够显著看出面部特征保持ip-adapter是最弱的，PuLId和InstantId都是保持一致性比较好的，但是能够明显看出InstantId的风格更偏全景艺术风，而PuLId是面部特征更偏向输入图像，这导致也会受输入图的清晰度影响输出效果。但InstantId还存在问题是需要的显存资源较大。ip-adapter是不仅面识特征保持别更重要是作为特征提取重要基础设施应用广泛。因此，评估效果各有优势，各视场景选择格式技术框架是最优方案。

另外，因为PuLId使用了facexlib和eva clip，其资源利用效率不是很高。同时由于采用了正交计算，PuLId在推理过程中比普通的ip-adapter会慢不少。可能这也是官方演示时使用SDXL lightning的原因。

附录