返回

字节PuLID：高效身份ID特征定制，ComfyUI使用指南

PuLID ComfyUI使用指南

PuLID简介

在之前的文章中，已经介绍过字节这款PuLID（Pure and Lightning ID Customization）模型（字节PuLID：高效身份ID特征定制新方法，无需复杂微调仅一张图实现）。PuLID模型是一个新型用于文生图领域，无需复杂的微调就可以实现高效的身份ID定制的方法。PuLID 是通过结合Lightning T2I 和diffusion扩散模型两个分支，并引入了对比对齐损失和精确的身份ID损失，使得最小化了对原始模型的干扰，并确保了身份ID特征的高保真度。

通过广泛实验表明，PuLID 在身份ID保真度和可编辑性方面均取得了优越的性能。PuLID还有另一个特性是：在身份ID插入前后，能给个做到图像元素（如背景、照明、构图和风格）的尽可能保持一致。PuLID能够被应用于的场景包括：风格更改、IP融合、配件修改、重新情境化、属性编辑、从非写实领域到写实领域的转换和ID混合。

更多信息参见之前文章内容：字节PuLID：高效身份ID特征定制新方法，无需复杂微调仅一张图实现。

PuLID ComfyUI体验

PuLID模型当前社区已经有ComfyUI插件支持了，插件地址为：https://github.com/cubiq/PuLID_ComfyUI

  • ？ 首先，通过插件管理器搜索PuLID_ComfyUI并安装插件。

  • ？ 下载PuLID 的 ip-adapter_pulid_sdxl_fp16.safetensors 预训练模型，并放置在 ComfyUI/models/pulid/目录下。模型和工作流已放置文末获取。

  • ？ ComfyUI首次运行时候还会下载：EVA CLIP 是 EVA02-CLIP-L-14-336模型和facexlib 依赖项。

  • ？ 最后，还需要将 InsightFace 与 AntelopeV2，解压后的模型应放置在 ComfyUI/models/insightface/models/antelopev2目录下。

  • ？ 导入文末工作流，并重启ComfyUI体验。

  • ？ 其他还需要注意：为了 IPAdapter 兼容性，需要更新 IPAdapter 扩展！，以及确保使用清晰锐利的图片作为参考图。

  • 插件安装界面：

工作流启动界面：

测试特征保持原图：

01. 卫衣肖像特写

closeup portrait, cyberpunk,Machine, future warrior, cinematic, hoodie, purple hair, highly detailed, 4k, high resolution

02. ICU护士

sweet nurse in ICU, masterpiece, photorealistic, 8k uhd, bestres

03. 水下特写

(((masterpiece))),(((best-quality))),(((extremely detailed unity 8k wallpaper)),extremely detailed face and eyes,(golden hair:1.5),aqua eyes,hair between eyes,(golden:1.5) (silk) (transparent:1.5) dress golden hair ribbon,golden hair flower [underwater:in space:20],

04. 部落

(Best Quality, Masterpiece:1.4), (Realism:1.2), (Realisitc:1.2), (Absurdres:1.2), (photorealistic:1.3), Realistic Skin,Solo,( Very Big Eyes,beautiful detailed eyes, symmetric eyes,), ((cowboy shot)),1girl,solo, a woman running through a forest, dynamic motion pose, jumping oder fallen tree, butterflies, smile, beautiful eyes, beautiful girl, high detail skin, high detail eyes, high detail hair, highres, ultra detailed, sharpen picture, Highly detailed, masterpiece, best quality, photorealistic, 1girl, long hair, native american, dark skin, feathers, hair ornament, jewelry, necklace, tribal, headdress, armlet, facepaint, braid, bracelet

05. 时尚

Platinum blonde Charlotte Hope as Marilyn Monroe, mantra-scripted blue tattoo tracing her back, blue lit grey eyes whispering wisdom, short pixie coiffure with whimsical curls, delicate earrings mimicking tattoo design, high heels shaping her contour, her every curve an ode to grace at 35, the timeless beauty amplified in her confident stance, monochromatic portrait infused with cobal

05. 华丽

 Realistic portrait of Elle Trowbridge,Ludwig Deutsch style chic: portrait lofty Ultra Highly pro detailed perfect view female portrait, carnelian luxury,  by Rolf Armstrong in vibrant hues of an autmn colors and patterns, setting in a rich bourgeois salon, intricate outfit, breathtaking craftmanship atmospheric, playful, ray tracing.

附录