「NovelAI Diffusion」を使ってみた (Img2Img)

概要

AIが画像生成をしてくれるサービスのNovelAIを試してみました。

この記事では画像から画像を生成するImg2Imgについて解説していますが、操作手順の説明よりもStrength値による生成画像の変化に着眼しています。

※ 元となる画像は自分で描いたものを使用しています。

画像の生成手順

Upload Imageから元となる画像を選択する(もしくはPaint New Imageから直接描く)
promptを設定する
パラメータを設定する
Generateで生成

パラメータについて

promptのみで画像生成する場合と一部異なるパラメータがあります。

詳しく知りたい方はNovelAIのドキュメントを見るとよいです。

Image Resolution

画像サイズと一度に生成する画像数を設定します。

画像サイズや画像数が増えるとAnlas消費量も増加します。

Strength

元画像の構図にどれだけ寄せるかを設定します。

値が低いほど改変が少なく、値が高いほど改変が大きくなります。

また、値が高いほどAnlas消費量が上がります。

Noise

新しい要素を追加するかを設定します。

値が低いほど改変が少なく、値が高いほど改変が大きくなります。

Undesired Content

画像の品質を設定します。

Low Quality + Bad Anatomy(デフォルト) = 低品質回避 + グロテスクな表現回避
Low Quality = 低品質回避
None = 指定なし

Add Quality Tags

チェックを入れていると自動でpromptに「masterpiece, best quality」が指定されます。

Steps

AIが調整する試行回数を設定します。

Scale

promptの内容にどれだけ従うかを設定します。

値が低いほど自由に解釈し、値が高いほどpromptに沿った画像を生成します。

Seed

絵柄などを参考にする画像を設定します。

NovelAIから生成された画像には番号が付与されており、Seed値にはその値を指定します。

検証1 線画のみ

線画のみを指定して画像生成してみましたが、生成画像も色なしで生成されています。

このあたりはpromptの指定でも出来ると思うのですが、特にしていなければ色も合わせてくれるみたいです。

キャラ指定してないので大まかなパーツ情報以外は結構違ってます。

検証2 バストアップ

元画像は指を合わせて恥ずかしがっているポーズです。

Strengthを低くすると、割と手の形を合わせてくれています。

Sterengthを高くすると、可愛い絵柄にはなっていますがポーズは結構変更されています。

検証3 バストアップ(再)

元画像は指を合わせて蝶々ポーズとっています。

先ほど同様、Strengthの値が高いとポーズの差は大きいようです。

検証4 全身

元画像はソシャゲのキャラ風に炎を出してるポーズです。

Strengthを低くすると、服のせいなのか足に違和感ありますがポーズやエフェクトは真似てくれています。絵柄も補間がかかっていい感じになってます。

Strengthを高くすると、絵柄は綺麗になりましたがポーズは全然違うものになりました。

検証5 全身(下手な絵)

元画像は膝までの立ちポーズで、人の形はしてるものの下手な絵を指定しました。

検証2と検証3同様、絵柄の変化は大きかったですが動きのないポーズだからなのか、ポーズの変化はあまりありませんでした。

Strengthが低い方は0.4を指定しましたが、下手な絵だとあまり綺麗な画像までもっていってもらえないようなので、ポーズ改変覚悟でStrengthは上げないといけないのかなと思います。

所感

Strength値を色々試してみましたが、

0.00 ～ 3.99 = 改変が少なくて綺麗になった感がない
0.40 ～ 0.69 = 元画像を尊重しつつ綺麗にしてくれる
0.70 ～ 1.00 = 綺麗な画像が出るが構図がかなり変わる

という印象です。

個人的には0.40～0.69がよさげに感じました。

下手な絵の場合はStrengthを上げて絵柄を綺麗にし、promptでポーズを合わせるという流れがよさそうだと思いました。

投稿者プロフィール

おかもち

ゲームとか作ってます。
Unity触ってることが多いです。

「NovelAI Diffusion」を使ってみた (Img2Img)

概要

画像の生成手順