AI绘图|Stable Diffusion进阶—— 光影控制实战

#头条文章养成计划#

前言

今天来聊一下目前在Automatic1111底下如何控制画面的光影。光影在AI绘图中其实难度不小,尤其是想要产生特定位置或特定效果的光影,往往要用到很多综合手段才能做到。最近在STABLE DIFFUSION ART出炉了一个关于光影的文章,提到了好几个不同的方法,这边就依照我的使用经验来整理分享这些方法。

提示词与进阶

最简单的操纵光影方法就是使用光影类的提示词,例如:

Stable Diffusion提示词– 光影特效里面提到的光影相关提示词来为AI指示需要的光影类型。但是这种方法的一个问题是,很多光影提示词是与其他提示词有互相关系的,例如在户外的白天场景,就难以产出灰暗的光影。另外,很多模型使用的素材图都是同一类型的光影,例如大部分都是真人白天的照片,那就算使用夜晚的提示词,角色也会出现不自然的高光,仿佛是使用棚拍灯光拍出来的。这种情况下很多提示词是无法产生效果的。另外,有很多提示词在训练时会与其他提示词产生不必要的关联,例如背光(backlighting)因为有了「背」,所以算出的图,角色会背朝镜头。

遇到这种情况,一种可行的解法就是配合ControlNet的Canny,Depth或Normal等固定角色的功能来执行局部重绘。

例如下图,左边是原始图。我们想要改成背光效果,就要在img2img中原本的提示词上额外加入backlighting,然后在ControlNet使用Depth或Canny来固定人物的轮廓,接下来就是生许多图来找到自己喜欢的背光图,如右图所示:

背光修正

图片提示法

图片提示法是个很有趣的方法,它使用了Stable Diffusion的一个特色,就是在img2img中使用特制的黑白原始图,搭配ControlNet的许多模型固定形状之后,可以使用高强度的Denoising strength追求图片的最大变化时,对特定区域提示AI要使用特定光影,举例如下:

成品与光源对照

我以下面的图片当范例,这个角色的光影是从右上方来的自然光:

(best quality), (masterpiece), 17 years old Germany handsome young man with blonde long hair, (low ponytail hairstyle:1.2), (green eyes:1.2), slight smile

原始图

如果我想要将图换成一个正上方来的光源,且将整个画面的光度降低,就可以在任意的绘图软体中新开一个图,以黑色为底,然后在想要出现光亮的地方图白,例如下图:

img2img放置光源

将这个光源样板放置到img2img的图片区,然后提示词直接复制到img2img的提示词,并且将Denoising strength提高到0.9甚至0.95的高强度。接着在ControlNet里面将原始图放入,然后选择Depth或Canny功能。

ControlNet

跑出图之后,会看到人物的光源已经变成正上方了。而图片的其他位置因为原本是黑色,所以AI会偏向将这些位置画成低光度区域。这也是一个降低整体亮度的方法。

正上方光源成品

另外还有利用Inpaint调换局部光影,使用Inpaint Sketch增加其他颜色的光影,也是可以局部更改光影的手法。

    THE END
    喜欢就支持一下吧
    点赞14 分享
    评论 抢沙发
    头像
    欢迎您留下宝贵的见解!
    提交
    头像

    昵称

    取消
    昵称表情代码图片

      暂无评论内容