【Stable Diffusion】手書きのラフからAI画像生成で線画を抽出して着色してみた【ControlNet】

色塗りが苦手です。
絵を描くこと自体は好きなので、「誰か代わりに色塗ってくれーい」とずっと思っていました。

以前、CLIP STUDIO PAINTで自動彩色という機能ができた時、めちゃくちゃ期待していたのですが、境界が曖昧なうすぼんやりした彩色にしかならない上に、指定するために置いた色すら採用されないという思惑とはかけ離れた結果になったので使っていませんでした。

それ以降、諦めて久しいですが、どうやらStable Diffusionで自動彩色してくれるらしい、という噂を聞きつけて実験してみることに。

AI画像生成に利用するラフをCLIP STUDIOで制作

CLIP STUDIO PAINTでラフを作成。
というか、もともとアイコン用に正方形でラクガキしたものを再利用することにしました。
普通にペン入れできる程度に線がきれいめな絵をチョイス。

使用するモデルは「ambientmix」です。
アニメ塗りすることが多いので、自分の絵に近い結果が得られることを期待して選びました。

下記1点を変更。他はデフォルト。

下記2点を変更。他はデフォルト。

結果は下図の通り。

悪くないのですが、アニメ塗りの清書（クリンナップ）には程遠いかんじ。
もうちょっと1本線で輪郭を作ってほしかったのですが、それにはラフが粗すぎる模様。
何度か試してみましたが、線自体が整うことはなかったので、一番元絵のニュアンスが残っている線画を採用。

導入済みの「EasyNegativeV2」を入れています。

結果は下図の通り。

113番めの彼女です。よろしくお願いします。
生成過程でできた画像を利用して、何度か再生成しています。

崩れているとはいえ、背景もいい感じに生成してくれてます。
生成を繰り返すほど、京アニ系のタッチに近づいたように感じました。

下記の項目を「chatGPT-4」のプラグイン「Photorealistic」を利用して、変換してもらいました。
「Midjourney」用のプラグインのようですが、用途は同じなのでデフォルト出力のまま使っています。

上述の通りです。

結果は下図の通り。

全体的な描写は溶けた感がありますが、ぱっと見いいかんじのライティングが施されているのでこの絵を最終としました。

このままでは完成とは言えないので手直しするとなると、全体的にレイヤーなしの状態でニュアンスを似せながら手を入れる必要がありますね。そうなると、結局自分でペン入れ＆彩色した方が良さそうではあります。

ただ、まるで自分の絵柄を残したまま彩色してくれているような生成結果になったのは驚きでした。
ぱっと見は大満足なので、本当にあと一歩！

ラフからペン入れ＆彩色が可能、とは言い難い

まだまだ使いこなせていないので、プロンプトや設定次第で結果が変わるかも、という期待はしています。もっと良いやり方があれば教えていただければ幸いです！