ControlNet 作者新作开源即爆火,AI帮你给图片打光换背景!

ControlNet 作者新作爆火,刚开源就收获 2.7k Star。IC-Light不仅可以对图片的光源进行改变,还能让图片和背景做到完美的融合,且操作简单,轻松享受专业级的图像处理体验。

以下为我的一些分享。

一、IC-Light介绍

用于操纵图像照明效果的 IC-Light,全称 lmposing Consistent Light,目前提供两类模型:文本条件重照明模型,还有背景条件模型
两种模型都需要以前景图像作为输入。

话不多说,让我们先看效果:

一)文本条件重照明模型
上传图片后系统会自动分离人物等主体:
提示词:beautiful woman, detailed face, warm atmosphere, at home, bedroom
照明: 左侧
20240514225908.png

调整提示词,来个王家卫式的打光:
提示词:beautiful woman, detailed face, neon, Wong Kar-wai, warm
照明: 左侧

还能设计具体的光源位置:
提示词: beautiful woman, detailed face, sunset over sea
Pasted image 20240514231548.png

二)背景条件模型

背景条件模型不需要详细提示词。
Pasted image 20240514233700.png

网友测试动漫场景也是可以的。
Pasted image 20240515000732.png

二、IC-Light插件

IC-Light才开源没多久,就有网友迅速做出了SD插件和ComfyUI插件工作流。

不禁感叹大佬们是真肝啊!

一)ComfyUI插件:ComfyUI-IC-Light-Native
Pasted image 20240514005548.png

二)Stable Diffusion插件:sd-forge-ic-light
Pasted image 20240514235639.png

三、IC-Light原理

在 HDR 空间中,所有照明的光线传输都彼此独立。

不同光源的外观混合效果与多光源直接作用下的外观在数学上一致。

Pasted image 20240514231434.png

以上面这张图的灯光阶段为例,来自“外观混合”和“光源混合”的两个图像是一致的,(理想情况下,在 HDR 空间中数学上等效)。

因此,在训练重新照明模型时,研究人员在潜在空间中使用多层感知机(MLP)让不同光源的组合和传输具有一致性,并用来指导生成效果。

最终产生高度一致的重新光照效果。

由于模型使用了潜在扩散技术,因此可以在潜在空间内实现学习和重光照操作,从而在各种光照条件下产生高度一致的效果。

这些结果非常一致 —— 尽管在训练时,模型没有直接使用法线图数据,但可以将不同的重新光照合并为法线贴图。

看下面这张图,从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。
Pasted image 20240514231926.png

四、相关资源

以下为IC-Light演示、插件、工作流的链接,感兴趣的可以自己去上手尝试~

GitHub:lllyasviel/IC-Light: More relighting! (github.com)
IC-Light演示:https://huggingface.co/spaces/lllyasviel/IC-Light
ComfyUI插件:huchenlei/ComfyUI-IC-Light-Native: ComfyUI native implementation of IC-Light (github.com)
ComfyUI工作流:kijai/ComfyUI-IC-Light-Wrapper: Wraps the IC-Light Diffuser demo to a ComfyUI node (github.com)
SD插件:huchenlei/sd-forge-ic-light: SD Forge extension for IC-Light (github.com)