010：i2iの方法

2025/3/30 10:19

今回はFooocusでのi2i（image to image）、「Variation」についてです。
i2iは元画像をベースに、その傾向を引き継いだ画像を出力してくれる機能ですが、Fooocusの「Variation」もその機能の一つです。
たぶん、元画像にノイズを加えて、そこから再度画像生成しなおすといったことをしているのだと思います。
「Variation」の「Subtle（微妙に）」と「Strong（強め）」のオプションは、ノイズの加え方の強さだと思います。
ノイズを少しだけ加えるのが「Subtle」、かなり強く加えるのが「Strong」ということかなと。

やり方は簡単で、プロンプトを入力するテキストエリアの下の「Input Image」チェックボックスをオンにすると、image to image（i2i）のためのいくつかのメニューが出てきます。（2枚目の画像）
他にもいろいろ機能があるのが分かりますが、今回は１つめのタブ「Upscale or Variation」を使います。

今回はあらかじめ生成しておいた線画画像（3枚目）に対して、色指定をしたプロンプトでi2iしてみましょう。
元画像（3枚目）をこの画像エリアにセット（ドラッグアンドドロップでセットできます）して、「Upscale or Variation」の選択肢から「Vary(Subtle)」か「Vary(strong)」を選択します。

「Vary(Subtle)」を指定して繰り返し「Generate」した結果が4枚目～6枚目です。
1回目の結果はほんのり色が塗られていることが分かります（4枚目）。5枚目の画像は、今度は4枚目の画像をinputに指定して再度「Generate」した結果、6枚目はさらに5枚目をinputに指定して「Generate」した結果で、だんだんと色味が増していく感じが分かるかと思います。
ただ、i2iを繰り返すともともとの画像のニュアンスはだんだん失われていくので、何回繰り返すかはお好み次第ということになります。

「Vary(Strong)」を指定して「Generate」した結果が7枚目～13枚目です。
Strongの場合は元画像のニュアンスはそれなりに残しつつ、別画像が出てくるような結果になります。
7枚目はいつもの色指定で生成したもの、8枚目はスカートの色を緑に変更したプロンプトで生成したもの、9枚目は髪色も変えたものになります。
プロンプトは元画像のプロンプトからかけ離れると、絵のニュアンスにも変化が出るので、10枚目のように髪色も服の色も目の色も…と変えた場合には別画像のような結果になっています。
プロンプトで絵柄だけ変えて指定したものが11枚目からで、それぞれインク絵、ベクターアート、フォトリアルといった感じです。

SubtleとStrongはやりたいことに合わせて選択するのが良いと思います。

＝＝＝＝＝＝＝＝＝＝
サンプル画像のプロンプトは以下の通りです。ご参考まで。

（線画）
very short hair, long sidelocks, hair between eyes, round glasses, pointy ears, large breast, high neck no sleeve blouse, short skirt, pleated skirt, contrapposto, white background, wind blowing, daylight diffusion, art nouveau, monochrome, (line art:1.2), smile

（Vary時）
pale pink blonde hair, very short hair, long sidelocks, hair between eyes, red eyes, round glasses, pointy ears, large breast, high neck no sleeve white blouse, short red skirt, pleated skirt, contrapposto, blue sky background, wind blowing, daylight diffusion, smile, spring ivy

Muacca

38 投稿

フォロー 545

フォロワー 868

画像生成/動画生成についての自分なりのノウハウを不定期連載していました。いまは更新停止しています。すぐ情報古くなるので、有料記事はやめて全公開に変更しています。
お役に立てるかどうかは分からないですが…ご興味があればどうぞ。

AnimagineXL + Fooocusな組み合わせでのノウハウ…だったのですが、最近はFramePack/Wan2.2/ChatGPT/Nano Banana/AnyTestなどなど節操がなくなって来ました。

Muaccaさんの他の投稿

すべてを見る

036：Qwen Image Edit の使い方

全体公開

今回は、元画像からテキスト指示で画像を編集できるQwen Image Editを試してみました。例によって、差分の画像をStart-Endにフレーム指定して動画を作るのに便利、という動機からです。まずは元画像としていつものようにAnim4gineで画像を用意します（2枚目）。これを3枚目の画像のようにしてQwen Image Editのワークフローにセットします。プロンプトとしては、「背景だけをフォトリアルな森の画像に差し替えてください」みたいな自然文をgoogle翻訳で英語にしたものを使ってみました（4枚目）。今度は4枚目の画像を元にして、「キャラクターを削除して背景だけにしてください」とすると、5枚目のような森の風景だけの画像になりました。消しゴムマジックみたいなことができますね。さらに「キャラクターを削除するけど、線画だけは残してくれ」としてみたのが6枚目で、そこから「背景を夜にして、線画を光らせてくれ」としたのが1枚目、といった感じです。 nano bananaほど指示がきれいに反映されるというわけではなく、融通が利かないところもあるんですが、これをローカルのPCで使い放題というのは結構楽しいです。いろいろ試してみたくなりますね。

035：Anytestの使い方

全体公開

Wan2.2で動画を作るときにはポーズ差分の画像があるとStart-Endでフレーム指定で安定した動画が生成できるので、最近はポーズ差分画像をどう作るかをいろいろ試しています。 nano bananaは強力なのですが、制約があったり絵柄がnano banana絵柄に寄ったりするので他の手段も試している、というか。私がメインで使っている画像生成モデルはAnimagine4なので、Controlnetでポーズ指定するという手が使えます。 SDXL系のControlnetとしてはAnytestという強力なブツがあるので、それを試してみました。まずは2枚目のような、大雑把な構図指定画像を手描きします。これはClip Studio Paintでマウスでちょいちょいと5分程度で描いた代物で、「まあなんとなく言いたいことは分かる」レベルのものかな、と思います。この構図指定画像を参照画像として設定しているのが3枚目の画像で、Anytestを使うためのComfyUIワークフローです。このワークフローで画像を生成したのが1枚目です。なんとなくそれっぽくはなっている気がしますね。 ↓プロンプトはこんな感じにしています。 1girl, _, from _, blonde long hair, blue eyes tareme, forehead, pointy ears large breast, groin tendon slim bod, single-shoulder long magical black robe, bra strap, mini skirt under robe frill skirt, contrapposto, water wave background, smile, (glitter magic circle effect:1.2) from hand, blue water effect, pure clear realistic water, splash water around wind blowing さて、Anytestですが、結構いろいろなことができる「万能Controlnet」と言われていて、例えば4枚目の画像の真ん中の部分を黒塗りでつぶして（5枚目）これを参照画像として渡すと、1枚目の画像のポーズを変更することができたりもします（6枚目）。 1枚目の画像と6枚目の画像を動画のStart-Endフレームに指定すれば、なんとなく水魔法を使っているエルフ姉さんの動画ができるような気がしますね！とまあこんな感じに便利なControlnet「Anytest」ですが、月須和さんがHuggingFaceで公開してくれています。ありがたいですね。 https://huggingface.co/2vXpSwA7

034：InfiniteTalkで読み上げ動画を作る

全体公開

前回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作りましたが、今回はセリフ音声と動画から、読み上げ動画を作ってみます。前回のはWan2.2 S2Vで1枚の画像から動画を生成したのですが、口元以外の箇所はあまり動かないというか、ほぼ口パク動画、みたいな感じでした。今回は人物がなにか動いている動画をもとに、口元をセリフに合わせて口パクさせるというもので、動きのある読み上げ動画を作る場合はこちらの方が良いようです。こういった手法はVideo to Video（V2V）と呼ばれているようですね。読み上げのためのV2VにはInfiniteTalkを用いてみました。 InfiniteTalkはまだWan2.2には対応していないので、Wan2.1と組み合わせて使ってみています。 2枚目の画像がInfiniteTalkを使うためのComfyUIのワークフローで、画面下の方で元となる動画（1枚目）を指定しています。セリフ音声は上の方（音声を読み込む、のところ）に指定してみています。 3枚目もワークフローの一部で、真ん中のあたりにプロンプトを指定しています。この手法の場合、キャラクターの見た目も動きも動画で指定しているので、プロンプトは簡単に「The woman turns to me, stretches her body, and speaks with a smile.」（その女性は私の方を向き、体を伸ばして、笑顔で話します）としました。あとは実行すると、セリフ音声に合わせて口元の動きが調整されます。

033：Wan22 S2Vで読み上げ動画を作る

全体公開

今回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作ってみました。 S2Vは、音声からそれに合った動画を生成するものですが、元画像を指定するとそれをもとにI2Vのように画像に沿った動画を生成してくれます。前回使った魔法少女画像の顔アップ（2枚目）を元画像に指定し、音声として「魔法少女Muacca、いつもみんなと楽しく、ですです」という読み上げ音声を指定してできたのが1枚目の動画です。残念ながらちちぷいには音声付の動画は投稿できないので、口パクだけになってしまいますが、元画像のキャラがなにかしゃべっている感じになっているのは分かるかと思います。 Wan2.2 S2Vですが、UIとしては公式から配布されているComfyUIワークフローを用いて実行しました（3枚目）。基本的にはデフォルト値のままで使うのがいいようです。ちなみに16fpsが指定されているのですが、これを30fpsとかにすると音声と口パクがズレるので、変えないほうが良いようです。fpsを変更したい場合は、生成した動画を別のツールでフレーム補間すればよいと思います。あと、公式の情報では生成される動画は77フレーム分と書いてあって、これは変更しないほうが良いとのことでした。16fpsだと4秒くらいの動画になるはずなのですが、結果として生成されたのは14秒くらいのものだったので、それがなぜなのかはよくわかりません。投入した音声は4秒くらいだったので、ここに投稿しているものは後ろの無音声部分をカットしてあります。

すべてを見る

他のクリエイターの投稿

狐面の忍者ガール

580コイン/月以上支援すると見ることができます

リンファ75

誓いのキス

100コイン/月以上支援すると見ることができます

P.S.T.A.

本当にアイスみたいに溶けている女の子

580コイン/月以上支援すると見ることができます

リンファ75

二人のJK362～368

100コイン/月以上支援すると見ることができます

まーるの別荘

絢華幻姫　壱

500コイン/月以上支援すると見ることができます

蜜華

木の枝の伝説剣

580コイン/月以上支援すると見ることができます

リンファ75

ComfyUIでOpen Pose Editorを使う

全体公開

先日、ComfyUIにOpen Pose Editorを導入しようと巧く行かないと聞き、いろいろ試した結果、下記のカスタムノードが使えましたので、報告です。今回使ったカスタムノード（画像１と画像５の茶色のノード）・ComfyUI-openpose-editor URL： https://github.com/huchenlei/ComfyUI-openpose-editor 　Load Openpose JSON ・comfyui_controlnet_aux URL： https://github.com/Fannovel16/comfyui_controlnet_aux 　Render Pose JSON (Human) 　OpenPose Pose ※「Load ControlNet Model」「Apply ControlNet」はConfyUI標準のノードです。 ------------------------------------------------------------------------------------------------ 画像２の様に、「Load Openpose JSON」を右クリックして表示されるメニューから、「Open in Openpose Editer」クリックします。 ※画像では抜けていますが、先に「json str」欄に、Pose KeypointのJSON形式のデーターを書き込む必要があります（重要　JSON形式のデーターの作成方法は「おまけ」で）。　初めて使う時は注意して下さい。　一度書き込んで、ワークフローを保存しておけば、次回から問題なく使えます。　なお、ComfyUIのサーバーを再起動するまでは、情報が保持される様ですので、その間は空欄でも使えます。 ------------------------------------------------------------------------------------------------ 画像３：「SD-WEBUI-OPENPOSE-EDITER 」が起動します。 JSONデーターを基に棒人間が表示されますので、編集します。編集後、「ControlNetにポーズを送信」クリックすると「SD-WEBUI-OPENPOSE-EDITER」が終了し、ワークフローに戻ります。 ※先にJSONデーターを書き込まないと、「ControlNetにポーズを送信」が表示されず、何もできなく成ってしまいます。　抜けるには、ComfyUIのブラウザ画面を閉じるしかありません。ワークフローに戻ったら、「json str」欄に編集後のデーターが書き込まれていますので、一度コピーして上書きして下さい（重要）。「json str」欄を選択して、Ctrl+a、Ctrl+c、Ctrl+v を順に実行 ※上書きしないと、編集前のデーターで処理されます。 ------------------------------------------------------------------------------------------------ 画像４：実行例です。そこまで追従してくれませんねｗ Openpose用のモデルを変更すれば変わるかも知れません。 ------------------------------------------------------------------------------------------------ おまけ Pose KeypointのJSON形式のデーターを作成するために、画像を元に作成する方法があります（画像５）「OpenPose Pose」ノードを使い、「POSE_KEYPOINT」から出力されたデーターをコピーして、「Load Openpose JSON」に張り付けます。