Stable-Makeup：利用扩散模型实现人物妆容迁移

？？大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群！

Stable-Makeup简介

今天介绍一款Stable-Makeup框架，这是一种基于扩散的新颖方法，能够被应用于人物化妆迁移，并且该框架可以稳健地迁移从淡妆到极浓妆的多样化现实世界化妆风格。

Stable-Makeup方法细节

null

？ Github地址：https://github.com/Xiaojiu-z/Stable-Makeup

？技术论文：https://arxiv.org/pdf/2403.07764

Stable-Makeup使用指南

Stable-Makeup框架当前已有ComfyUI社区支持，本文将使用ComfyUI来体验任务化妆迁移风格化。

？首先需要更新ComfyUI，同时在插件管理器中搜索ComfyUI_Stable_Makeup，并安装该插件。插件地址：https://github.com/smthemex/ComfyUI_Stable_Makeup
？下载模型spiga_300wpublic.pt ，目录如下展示。地址为：https://huggingface.co/aprados/spiga/tree/main
？下载模型pytorch_model.bin、 pytorch_model_1.bin、pytorch_model_2.bin，目录如下展示。地址为：https://drive.google.com/drive/folders/1397t27GrUyLPnj17qVpKWGwg93EcaFfg
？下载模型mobilenet0.25_Final.pth，目录如下展示。地址为：https://drive.google.com/uc?export=download&id=1G3VsfgiQb16VyFnOwEVDgm2g8-9qN0-9
？下载模型esnet50.pth ，该模型与mobilenet0.25_Final.pth 可以二选一下载。目录如下展示。地址为：https://www.dropbox.com/s/8sxkgc9voel6ost/resnet50.pth?dl=1
？下载模型runwayml/stable-diffusion-v1-5, 虽然启动时可自动下载，单仍然建议手动下，否则3.97G的大小会被缓存暂用C盘的容量。下载地址为：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
？下载clip模型：openai/clip-vit-large-patch14，下载地址为：https://huggingface.co/openai/clip-vit-large-patch14/tree/main

模型放置位置：

runwayml/stable-diffusion-v1-5模型放置位置：

插件安装：

工作流界面

Stable-Makeup体验

在本文中涉及的基础模型和模型配置如下：

？绘图模型：Dream Tech XL | 筑梦工业XL
？采样方法：DPM++ 2M Karras
？迭代步数：30步
？分辨率：1024*1024
？提示词引导系数 (CFG Scale)：7

本文涉及模型下载地址：

？ Dream Tech XL | 筑梦工业XL：https://www.liblib.art/modelinfo/5611e2f826be47f5b8c7eae45ed5434a
注：下列妆容输入图来源于网络侵删。另外，本文为了更强妆容效果演示，选择了浓妆艳抹风格。

01.文生图

正向提示词：

close-up,(best quality:1.4),(masterpiece:1.4),(photorealistic:1.4),(ultra high res, raw photo:1.4),(hdr, hyperdetailed:1.2),1girl,solo,(closed mouth:1.3),(upper body:1.2),(pure white T-shirt:1.2),standing,detailed skin,simple background,white background,looking at the camera,(pore:1.2),asia,ultimate details,

负向提示词：

NSFW,(nsfw:1.3),watermark,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,(monochrome:2),(grayscale:2),(skin spots:2),skin blemishes,age spot,backlight,(ugly:1.2),(duplicate:1.2),(morbid:1.2),(mutilated:1.2),mutated hands,(poorly drawn hands:1.3),blurry,(bad anatomy:1.2),(bad proportions:1.3),extra limbs,(disfigured:1.3),(more than 2 nipples:1.2),(missing arms:1.2),(extra legs:1.3),(fused fingers:1.5),(too many fingers:1.5),(unclear eyes:1.3),bad hands,missing fingers,extra digit,bad body,

效果图