ControlNet 作者新作开源即爆火，AI帮你给图片打光换背景！

Corey2024-05-192025-01-04

ControlNet 作者新作爆火，刚开源就收获 2.7k Star。IC-Light不仅可以对图片的光源进行改变，还能让图片和背景做到完美的融合，且操作简单，轻松享受专业级的图像处理体验。

以下为我的一些分享。

一、IC-Light介绍

用于操纵图像照明效果的 IC-Light，全称 lmposing Consistent Light，目前提供两类模型：文本条件重照明模型，还有背景条件模型。
两种模型都需要以前景图像作为输入。

话不多说，让我们先看效果：

一）文本条件重照明模型
上传图片后系统会自动分离人物等主体：
提示词：beautiful woman, detailed face, warm atmosphere, at home, bedroom
照明: 左侧

调整提示词，来个王家卫式的打光：
提示词：beautiful woman, detailed face, neon, Wong Kar-wai, warm
照明: 左侧

还能设计具体的光源位置：
提示词： beautiful woman, detailed face, sunset over sea
Pasted image 20240514231548.png

二）背景条件模型

背景条件模型不需要详细提示词。
Pasted image 20240514233700.png

网友测试动漫场景也是可以的。
Pasted image 20240515000732.png

IC-Light才开源没多久，就有网友迅速做出了SD插件和ComfyUI插件工作流。

不禁感叹大佬们是真肝啊！

一）ComfyUI插件：ComfyUI-IC-Light-Native
Pasted image 20240514005548.png

二）Stable Diffusion插件：sd-forge-ic-light
Pasted image 20240514235639.png

在 HDR 空间中，所有照明的光线传输都彼此独立。

不同光源的外观混合效果与多光源直接作用下的外观在数学上一致。

Pasted image 20240514231434.png

以上面这张图的灯光阶段为例，来自“外观混合”和“光源混合”的两个图像是一致的，（理想情况下，在 HDR 空间中数学上等效）。

因此，在训练重新照明模型时，研究人员在潜在空间中使用多层感知机（MLP）让不同光源的组合和传输具有一致性，并用来指导生成效果。

最终产生高度一致的重新光照效果。

由于模型使用了潜在扩散技术，因此可以在潜在空间内实现学习和重光照操作，从而在各种光照条件下产生高度一致的效果。

这些结果非常一致 —— 尽管在训练时，模型没有直接使用法线图数据，但可以将不同的重新光照合并为法线贴图。

看下面这张图，从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。
Pasted image 20240514231926.png

以下为IC-Light演示、插件、工作流的链接，感兴趣的可以自己去上手尝试~