返回

给图片加上“可控光源开关”，零硬件解锁电影级布光自由，精准控制{光源强度/颜色/色彩}！

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！


项目主页-https://nadmag.github.io/LightLab/

论文链接-https://www.arxiv.org/abs/2505.09608


为什么需要这个算法？--控制图像中的光源是摄影的一个基础需求，它会影响图像的主题、深度分离、颜色和情绪。现有的图像打光方法要么依赖于多个输入视图在推理时执行逆渲染，要么无法提供显式控制。
这个算法能做什么？--特拉维夫大学&谷歌联合提出了一种基于扩散的图像打光方法LightLab，用于对单个图像中的光源进行细粒度的参数控制。该方法可以精准的改变可见光源的强度和颜色、环境照明的强度，并可以将虚拟光源插入场景中。
这个算法效果如何？--大量的实验结果表明：该方法在不同的设置下生成物理上合理的照明编辑，并在数量上和基于用户偏好的情况下优于现有方法。



01-LightLab核心优势

    作者提出了一种基于扩散的方法LightLab，用于对单个图像中的光源进行细粒度的参数控制。

  • 该方法可以改变可见光源的强度和颜色、环境照明的强度，并可以将虚拟光源插入场景中。

  • 作者建议使用扩散模型的照片级真实感，直接在图像空间中隐式模拟复杂的光效，如间接照明、阴影和反射，并使用成对的示例来描述受控的照明变化。

  • 大量的实验结果表明，即使是一小部分真实的、物理上精确的训练示例也可以补充大规模的合成渲染，其中前者可以防止域漂移，而后者可以提高物理合理性。

  • 由此产生的基于图像的高质量解决方案，使用户能够进行复杂和连续的照明编辑。

02-LightLab落地场景

02.01-改变光源强度
    如上面的视频所示，Lightswitch可以对光源的强度进行参数控制。需要注意的是，不同强度的光现象是如何一致的，从而允许交互式编辑。
02.02-控制灯光颜色
    如上面的视频所示，该方法可以根据用户输入来灵活的改变灯光的颜色，用户可以使用彩色滑块调整光源的颜色。
02.03-模拟虚拟点光源
    如上面的视频所示，通过从合成3D渲染中转移知识，LightLab可以将虚拟点光源（没有几何体）插入场景中。
02.04-模拟环境光源
    如上面的视频所示，该方法可以将目标光与环境光分离，可以控制通过窗户进入的光，这在物理实现上并不容易控制。
02.05-模拟物理光源
    如上面的视频所示，左图展示的输入序列是通过捕捉围绕多边形狗旋转的熄灭灯的照片创建的。中间和右边分别展示了该方法的推理结果和对狗的放大。注意不同面上的自遮挡和狗的阴影如何与灯的位置和角度相匹配。

03-LightLab基本原理

    如上图所示，作者对局部空间信号和全局控制使用不同的调节方案。

    空间条件包括输入图像、输入图像的深度图以及分别用于目标光源强度变化和颜色的两个空间分割掩模。

    全局控制（环境光强度和色调映射策略）被投影到文本嵌入维度，并通过交叉注意力插入。

04-LightLab性能评估

04.01-主观效果评估
    上图展示了该方法与多个SOTA方法（OminiGen、RGB-X、ScribbleLight、IC-Light）在相同的输入下的打光效果。通过观察与分析，我们可以发现：该方法的打光效果更真实、更符合物理规律、更满足用户的实际需求！
04.02-客观指标评估
    上表展示了该方法与多个多个SOTA方法（OminiGen、RGB-X、ScribbleLig ht、IC-Light）在相同的输入下的客观指标评估结果。通过观察与分析，我们可以得出以下的初步结论：该方法在多项指标上面获得了最佳的得分，与第二名之间拉开了较大的差距！
05-LightLab效果展示


关注我，AI热点早知道，AI算法早精通，AI产品早上线！



禁止私自转载，需要转载请先征求我的同意！

欢迎你的加入，让我们一起交流、讨论与成长！

若二维码失效：关注公众号--》交流分享--》联系我们