030：EasyWan22のお試し
元のWan2.2をComfyUIで自力で四苦八苦して使おうとしたのですが、なかなかうまくいかず。
ZuntanさんがComfyUIのワークフローなどを取りまとめてくださっているEasyWan22を使うことにしました。
EasyWan22 - GitHub
https://github.com/Zuntan03/EasyWan22
とりあえずインストールして、２枚目の画像（これはFooocus + Anim4gineで生成）をもとに動画化したのが１枚目の動画です。
EasyWan22経由でComfyUIを起動して…i2vする画面は３枚目みたいになっています。
用意されているワークフロー（ComfyUIではいろいろなノードを組み合わせて処理を実行できるようにしたものをワークフローと呼びます）はかなり複雑なもので、動画化だけでなくモザイク処理や高解像度化など、いろいろとできるようになっているみたいですが…。
ワークフローのあちこちに、Zuntanさんの解説メモが置いてあるので、それを熟読しながらぽちぽちすると、動画化できる…みたいな感じでした。
6
036：Qwen Image Edit の使い方
全体公開
今回は、元画像からテキスト指示で画像を編集できるQwen Image Editを試してみました。 例によって、差分の画像をStart-Endにフレーム指定して動画を作るのに便利、という動機からです。 まずは元画像としていつものようにAnim4gineで画像を用意します（2枚目）。 これを3枚目の画像のようにしてQwen Image Editのワークフローにセットします。 プロンプトとしては、「背景だけをフォトリアルな森の画像に差し替えてください」みたいな自然文をgoogle翻訳で英語にしたものを使ってみました（4枚目）。 今度は4枚目の画像を元にして、「キャラクターを削除して背景だけにしてください」とすると、5枚目のような森の風景だけの画像になりました。消しゴムマジックみたいなことができますね。 さらに「キャラクターを削除するけど、線画だけは残してくれ」としてみたのが6枚目で、そこから「背景を夜にして、線画を光らせてくれ」としたのが1枚目、といった感じです。 nano bananaほど指示がきれいに反映されるというわけではなく、融通が利かないところもあるんですが、これをローカルのPCで使い放題というのは結構楽しいです。 いろいろ試してみたくなりますね。
6
035：Anytestの使い方
全体公開
Wan2.2で動画を作るときにはポーズ差分の画像があるとStart-Endでフレーム指定で安定した動画が生成できるので、最近はポーズ差分画像をどう作るかをいろいろ試しています。 nano bananaは強力なのですが、制約があったり絵柄がnano banana絵柄に寄ったりするので他の手段も試している、というか。 私がメインで使っている画像生成モデルはAnimagine4なので、Controlnetでポーズ指定するという手が使えます。 SDXL系のControlnetとしてはAnytestという強力なブツがあるので、それを試してみました。 まずは2枚目のような、大雑把な構図指定画像を手描きします。これはClip Studio Paintでマウスでちょいちょいと5分程度で描いた代物で、「まあなんとなく言いたいことは分かる」レベルのものかな、と思います。 この構図指定画像を参照画像として設定しているのが3枚目の画像で、Anytestを使うためのComfyUIワークフローです。このワークフローで画像を生成したのが1枚目です。なんとなくそれっぽくはなっている気がしますね。 ↓プロンプトはこんな感じにしています。 1girl, _, from _, blonde long hair, blue eyes tareme, forehead, pointy ears large breast, groin tendon slim bod, single-shoulder long magical black robe, bra strap, mini skirt under robe frill skirt, contrapposto, water wave background, smile, (glitter magic circle effect:1.2) from hand, blue water effect, pure clear realistic water, splash water around wind blowing さて、Anytestですが、結構いろいろなことができる「万能Controlnet」と言われていて、例えば4枚目の画像の真ん中の部分を黒塗りでつぶして（5枚目）これを参照画像として渡すと、1枚目の画像のポーズを変更することができたりもします（6枚目）。 1枚目の画像と6枚目の画像を動画のStart-Endフレームに指定すれば、なんとなく水魔法を使っているエルフ姉さんの動画ができるような気がしますね！ とまあこんな感じに便利なControlnet「Anytest」ですが、月須和さんがHuggingFaceで公開してくれています。ありがたいですね。 https://huggingface.co/2vXpSwA7
3
034：InfiniteTalkで読み上げ動画を作る
全体公開
前回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作りましたが、今回はセリフ音声と動画から、読み上げ動画を作ってみます。 前回のはWan2.2 S2Vで1枚の画像から動画を生成したのですが、口元以外の箇所はあまり動かないというか、ほぼ口パク動画、みたいな感じでした。 今回は人物がなにか動いている動画をもとに、口元をセリフに合わせて口パクさせるというもので、動きのある読み上げ動画を作る場合はこちらの方が良いようです。 こういった手法はVideo to Video（V2V）と呼ばれているようですね。 読み上げのためのV2VにはInfiniteTalkを用いてみました。 InfiniteTalkはまだWan2.2には対応していないので、Wan2.1と組み合わせて使ってみています。 2枚目の画像がInfiniteTalkを使うためのComfyUIのワークフローで、画面下の方で元となる動画（1枚目）を指定しています。 セリフ音声は上の方（音声を読み込む、のところ）に指定してみています。 3枚目もワークフローの一部で、真ん中のあたりにプロンプトを指定しています。この手法の場合、キャラクターの見た目も動きも動画で指定しているので、プロンプトは簡単に「The woman turns to me, stretches her body, and speaks with a smile.」（その女性は私の方を向き、体を伸ばして、笑顔で話します）としました。 あとは実行すると、セリフ音声に合わせて口元の動きが調整されます。
3
033：Wan22 S2Vで読み上げ動画を作る
全体公開
今回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作ってみました。 S2Vは、音声からそれに合った動画を生成するものですが、元画像を指定するとそれをもとにI2Vのように画像に沿った動画を生成してくれます。 前回使った魔法少女画像の顔アップ（2枚目）を元画像に指定し、音声として「魔法少女Muacca、いつもみんなと楽しく、ですです」という読み上げ音声を指定してできたのが1枚目の動画です。 残念ながらちちぷいには音声付の動画は投稿できないので、口パクだけになってしまいますが、元画像のキャラがなにかしゃべっている感じになっているのは分かるかと思います。 Wan2.2 S2Vですが、UIとしては公式から配布されているComfyUIワークフローを用いて実行しました（3枚目）。 基本的にはデフォルト値のままで使うのがいいようです。 ちなみに16fpsが指定されているのですが、これを30fpsとかにすると音声と口パクがズレるので、変えないほうが良いようです。fpsを変更したい場合は、生成した動画を別のツールでフレーム補間すればよいと思います。 あと、公式の情報では生成される動画は77フレーム分と書いてあって、これは変更しないほうが良いとのことでした。16fpsだと4秒くらいの動画になるはずなのですが、結果として生成されたのは14秒くらいのものだったので、それがなぜなのかはよくわかりません。投入した音声は4秒くらいだったので、ここに投稿しているものは後ろの無音声部分をカットしてあります。
他のクリエイターの投稿
6
They are the unsung heroes we often overlook.
500コイン/月以上支援すると見ることができます
fftgzipb
10
すすき野の横スクロール旅
580コイン/月以上支援すると見ることができます
リンファ75
2
ドジっ娘バニー
100コイン/月以上支援すると見ることができます
rakia20002000
4
Guarded by Aquamarine? -remake- all ages ver.
500コイン/月以上支援すると見ることができます
fftgzipb
9
Maintaining cleanliness also contributes to good health.
500コイン/月以上支援すると見ることができます
fftgzipb
9
南瓜灯の錬金術師ガール
580コイン/月以上支援すると見ることができます
リンファ75
2
ツインブレード
100コイン/月以上支援すると見ることができます
rakia20002000
40
いろいろ
500コイン/月以上支援すると見ることができます
いち
22
秋眸綺苑 壱
500コイン/月以上支援すると見ることができます
蜜華
10
灯籠南瓜の黒魔女コーデ
580コイン/月以上支援すると見ることができます
リンファ75
6
コーヒータイム。
100コイン/月以上支援すると見ることができます
たまご
10
ComfyUIで置換を使ってプロンプトに変化を
全体公開
お久しぶりのComfyUIネタです。 今回は、置換を使ってプロンプトを変化させる方法についてです。 画像１のフローで説明します。 人物や服装などに変化を付けるのに、色（髪・目・服など）を変えたり、長さ（髪・スカート・袖など）を変えたい事がありますよね。 毎回手書きしているならその都度合わせて書くので問題ないですが、以前紹介した「ComfyUIでプロンプト入力を楽にする」の様に既に登録してある物を変更するのは手間です。 ※CSVファイルを開いて書き直した場合、ComfyUIの再起動が必要。 そこで、置換を使って柔軟に対応できるようにフローを組みましょう。 今回使用したカスタムノード ・Comfyroll Studio URL： https://github.com/Suzie1/ComfyUI_Comfyroll_CustomNodes CR Text Replace このノードは複数の置換が可能です。 他にも置換できるカスタムノードは沢山ありますので、探してみて下さい。 ComfyUI replace などで探せば出てくると思います。 「置換」はComfyUI標準のノードです。 画像１の左端の「文字列（複数行）」ノードにはプロンプトが入力されています。 制服の色と袖の長さを変更したいので、置換したい部分に 'color' や 'sleeve' と入力しておきます。 ※単語だけでも置換は可能ですが、置換箇所が明示的に分かる様に記号などで括っておくと良いでしょう。 置換ノードでは、置換したい文字と置換後の文字を設定しておきます。 実行結果は、画像２～画像４です。 右端の「プレビュー任意」ノードに置換結果が表示されています。 期待通りに置換されてますね。 「置換の例２改」は、CSV Loderで色や袖を登録して使う例です。 一々色を入力せずに済みますし、入力間違いも起きません（指定間違いはあるｗ） 使い易い様に色々工夫してみてください。 --------------------------------------------------------------------------------------------- おまけ１ 「Any Switch (rgthree)」を使う際の入力の切り替えについて 「Any Switch (rgthree)」は、以前「ComfyUIで入力を切り替えるSwitch」で説明した通り、上の入力が優先されるスイッチです。 今回のフローの場合、入力を切り替える際に「Fast Groups Bypasser (rgthree)」を使うと正しく動作しません。 画像５～６ Bypass状態は、入力を未処理で出力に送るため、「Any Switch (rgthree)」の「any_01」には入力が発生します。 結果、元の文字列がそのまま結果に表示されてしまいます。 処理の途中でルートを選択したい場合は、「Fast Groups Muter (rgthree)」を使います。 Mute状態は処理をしませんし出力もありませんので、any_02以降のデータが有効になります。 ※「Fast Groups Bypasser (rgthree)」と「Fast Groups Muter (rgthree)」が同時に存在する場合、操作したノードの状態に設定されます。 「Fast Groups Bypasser (rgthree)」で操作すれば、Bypassに 「Fast Groups Muter (rgthree)」で操作すれば、Muteに ※入力を指定して切り替えるスイッチもありますが、入力に使われなかった処理も実行され、処理時間やGPUリソースが使われる事になるので、注意が必要です。 --------------------------------------------------------------------------------------------- おまけ２ ノードの入出力スロットの名称変更について 各ノードの入出力スロットにはデフォルトで名称が付いていますが、変更が可能です。 １．変更したいスロットの点の上で右クリックするとコンテキストメニューが表示されます（画像７） ２．「Rename Slot」を選択すると入力ウインドウが開きます（画像８）ので、新しい名称を入力して「OK」をクリックします。 ３．新しい名称が設定されます（画像９） ４．同様に出力側スロットも設定可能です（画像１０）
２２（にゃんにゃん）
24
竜華聖譚 弐
500コイン/月以上支援すると見ることができます
蜜華
8
月うさぎの足あと探し
580コイン/月以上支援すると見ることができます
リンファ75
7
Experience the essence of wabi-sabi.
500コイン/月以上支援すると見ることができます
fftgzipb
7
母と娘432～438
100コイン/月以上支援すると見ることができます
まーるのおだんご工房🍡✨