027：FramePack-eichiのキューについて

2025/7/27 8:33

#女の子

FramePack-eichiには、いくつかの元画像やプロンプトを元に、順番に動画生成をしてくれる「キュー」という機能があります。

2枚目の画像がFramePack-eichiの画面ですが、その中に「キューを使用」というチェックボックスがあるのでそれをオンにしてみます。
そうすると3枚目の画像のように、「キュータイプ」として「プロンプトキュー」と「イメージキュー」の２つから選べるようになっています。
「プロンプトキュー」は、1つの元画像に対して複数のプロンプトを順に適用して動画を生成する機能です。
いっぽうの「イメージキュー」は一つのプロンプトに対して複数の元画像から動画を生成する機能です。
複数のキャラの似たようなシーンの動画を作ったりといったときに便利ですね。

今回は「イメージキュー」を使ってみます。
「イメージキュー」を選択すると、4枚目の画像のように、入力フォルダの指定ができるようになっています…なっていますが、どうもこの指定は変えないほうがいいらしくて、もともとの「inputs」フォルダのままにしておく方が無難です。
ちなみに「保存および入力フォルダを開く」をクリックすると、「inputs」フォルダがエクスプローラなダイアログ開きます。（5枚目）
ここに、元画像として使う画像を何枚か入れておきましょう。（今回は四季姉さんズ2024の水着画像にしました）

こうしておいて、「生成開始」ボタンを押せばキューにセットした画像から動画が…ということなのですが、実は6枚目の画像のように、キューにセットした画像とは別に、もう1枚、FramePackのUI上で元画像を指定しておく必要があります。（今回はMuaccaさんの水着画像をセットしておきました）

最初にFramePackのUI上の画像をもとに動画が生成された後、次にキューにセットした画像の、ファイル名順に動画生成していくようです。（7枚目）
なお、このとき「バッチ処理回数」の指定としては1回でよくて、キューにセットした画像の枚数だけ、処理回数が追加されるようです。

↓「イメージキュー」を選んだ時にUI上に書かれている以下の説明文は、上記のことの注意書きですね。
＝＝＝＝
※1回目はImage画像を使用し、2回目以降は入力フォルダの画像ファイルを名前順に使用します。
※画像と同名のテキストファイル（例：image1.jpg→image1.txt）があれば、その内容を自動的にプロンプトとして使用します。
※バッチ回数が全画像数を超える場合、残りはImage画像で処理されます。
※バッチ処理回数が1でもキュー回数が優先されます。
＝＝＝＝

注意書きによると、inputsフォルダにプロンプトファイルを入れておけば、元画像とプロンプトの組み合わせを自由に設定できるような気もしますが、それはまだ試していません。

さて、こうしてキューで順に処理した結果の動画をAviUtil ExEdit2で単純につなげたものが1枚目の動画です。
ちょっとした動画の作成に便利ですね。

Muacca

38 投稿

フォロー 545

フォロワー 869

画像生成/動画生成についての自分なりのノウハウを不定期連載していました。いまは更新停止しています。すぐ情報古くなるので、有料記事はやめて全公開に変更しています。
お役に立てるかどうかは分からないですが…ご興味があればどうぞ。

AnimagineXL + Fooocusな組み合わせでのノウハウ…だったのですが、最近はFramePack/Wan2.2/ChatGPT/Nano Banana/AnyTestなどなど節操がなくなって来ました。

Muaccaさんの他の投稿

すべてを見る

036：Qwen Image Edit の使い方

全体公開

今回は、元画像からテキスト指示で画像を編集できるQwen Image Editを試してみました。例によって、差分の画像をStart-Endにフレーム指定して動画を作るのに便利、という動機からです。まずは元画像としていつものようにAnim4gineで画像を用意します（2枚目）。これを3枚目の画像のようにしてQwen Image Editのワークフローにセットします。プロンプトとしては、「背景だけをフォトリアルな森の画像に差し替えてください」みたいな自然文をgoogle翻訳で英語にしたものを使ってみました（4枚目）。今度は4枚目の画像を元にして、「キャラクターを削除して背景だけにしてください」とすると、5枚目のような森の風景だけの画像になりました。消しゴムマジックみたいなことができますね。さらに「キャラクターを削除するけど、線画だけは残してくれ」としてみたのが6枚目で、そこから「背景を夜にして、線画を光らせてくれ」としたのが1枚目、といった感じです。 nano bananaほど指示がきれいに反映されるというわけではなく、融通が利かないところもあるんですが、これをローカルのPCで使い放題というのは結構楽しいです。いろいろ試してみたくなりますね。

035：Anytestの使い方

全体公開

Wan2.2で動画を作るときにはポーズ差分の画像があるとStart-Endでフレーム指定で安定した動画が生成できるので、最近はポーズ差分画像をどう作るかをいろいろ試しています。 nano bananaは強力なのですが、制約があったり絵柄がnano banana絵柄に寄ったりするので他の手段も試している、というか。私がメインで使っている画像生成モデルはAnimagine4なので、Controlnetでポーズ指定するという手が使えます。 SDXL系のControlnetとしてはAnytestという強力なブツがあるので、それを試してみました。まずは2枚目のような、大雑把な構図指定画像を手描きします。これはClip Studio Paintでマウスでちょいちょいと5分程度で描いた代物で、「まあなんとなく言いたいことは分かる」レベルのものかな、と思います。この構図指定画像を参照画像として設定しているのが3枚目の画像で、Anytestを使うためのComfyUIワークフローです。このワークフローで画像を生成したのが1枚目です。なんとなくそれっぽくはなっている気がしますね。 ↓プロンプトはこんな感じにしています。 1girl, _, from _, blonde long hair, blue eyes tareme, forehead, pointy ears large breast, groin tendon slim bod, single-shoulder long magical black robe, bra strap, mini skirt under robe frill skirt, contrapposto, water wave background, smile, (glitter magic circle effect:1.2) from hand, blue water effect, pure clear realistic water, splash water around wind blowing さて、Anytestですが、結構いろいろなことができる「万能Controlnet」と言われていて、例えば4枚目の画像の真ん中の部分を黒塗りでつぶして（5枚目）これを参照画像として渡すと、1枚目の画像のポーズを変更することができたりもします（6枚目）。 1枚目の画像と6枚目の画像を動画のStart-Endフレームに指定すれば、なんとなく水魔法を使っているエルフ姉さんの動画ができるような気がしますね！とまあこんな感じに便利なControlnet「Anytest」ですが、月須和さんがHuggingFaceで公開してくれています。ありがたいですね。 https://huggingface.co/2vXpSwA7

034：InfiniteTalkで読み上げ動画を作る

全体公開

前回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作りましたが、今回はセリフ音声と動画から、読み上げ動画を作ってみます。前回のはWan2.2 S2Vで1枚の画像から動画を生成したのですが、口元以外の箇所はあまり動かないというか、ほぼ口パク動画、みたいな感じでした。今回は人物がなにか動いている動画をもとに、口元をセリフに合わせて口パクさせるというもので、動きのある読み上げ動画を作る場合はこちらの方が良いようです。こういった手法はVideo to Video（V2V）と呼ばれているようですね。読み上げのためのV2VにはInfiniteTalkを用いてみました。 InfiniteTalkはまだWan2.2には対応していないので、Wan2.1と組み合わせて使ってみています。 2枚目の画像がInfiniteTalkを使うためのComfyUIのワークフローで、画面下の方で元となる動画（1枚目）を指定しています。セリフ音声は上の方（音声を読み込む、のところ）に指定してみています。 3枚目もワークフローの一部で、真ん中のあたりにプロンプトを指定しています。この手法の場合、キャラクターの見た目も動きも動画で指定しているので、プロンプトは簡単に「The woman turns to me, stretches her body, and speaks with a smile.」（その女性は私の方を向き、体を伸ばして、笑顔で話します）としました。あとは実行すると、セリフ音声に合わせて口元の動きが調整されます。

033：Wan22 S2Vで読み上げ動画を作る

全体公開

今回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作ってみました。 S2Vは、音声からそれに合った動画を生成するものですが、元画像を指定するとそれをもとにI2Vのように画像に沿った動画を生成してくれます。前回使った魔法少女画像の顔アップ（2枚目）を元画像に指定し、音声として「魔法少女Muacca、いつもみんなと楽しく、ですです」という読み上げ音声を指定してできたのが1枚目の動画です。残念ながらちちぷいには音声付の動画は投稿できないので、口パクだけになってしまいますが、元画像のキャラがなにかしゃべっている感じになっているのは分かるかと思います。 Wan2.2 S2Vですが、UIとしては公式から配布されているComfyUIワークフローを用いて実行しました（3枚目）。基本的にはデフォルト値のままで使うのがいいようです。ちなみに16fpsが指定されているのですが、これを30fpsとかにすると音声と口パクがズレるので、変えないほうが良いようです。fpsを変更したい場合は、生成した動画を別のツールでフレーム補間すればよいと思います。あと、公式の情報では生成される動画は77フレーム分と書いてあって、これは変更しないほうが良いとのことでした。16fpsだと4秒くらいの動画になるはずなのですが、結果として生成されたのは14秒くらいのものだったので、それがなぜなのかはよくわかりません。投入した音声は4秒くらいだったので、ここに投稿しているものは後ろの無音声部分をカットしてあります。

すべてを見る

他のクリエイターの投稿

巫女舞

100コイン/月以上支援すると見ることができます

rakia20002000

10月のゲスト

100コイン/月以上支援すると見ることができます

ミラ

試行錯誤中

100コイン/月以上支援すると見ることができます

ガレージガーデン

優雅な華と閃光

580コイン/月以上支援すると見ることができます

リンファ75

煌紫妖華

500コイン/月以上支援すると見ることができます

蜜華

近鉄特急ひのとりちゃんボツ画像

100コイン/月以上支援すると見ることができます

rakia20002000

線画指定と禁止指定プロンプト

100コイン/月以上支援すると見ることができます

尾藤みそぎ

ComfyUIで動画のアップスケール

全体公開

今回は、動画のアップスケール（拡大）です。先に MiniMax H3で動画を生成しましたが、メモリーの関係で「メガピクセル」を大きく設定できない場合などに、動画の解像度を上げる為に行います。イラストでも行いますよね。今回使用したカスタムノードは・ComfyUI Nvidia VFX Nodes URL： https://github.com/Comfy-Org/ComfyUI_Nvidia_VFX_Nodes 　RTXVideoSuperResolution です。画像１の茶色のノードです。名前の通り、NvidiaのRTXにのみ対応したノードです。その他のノードはComfyUI標準のノードです。フローの簡単な流れを説明します。１．「ビデオを読み込む」ノードで、目的の動画を読み込みます。２．「ビデオコンポーネントの取得」ノードで、動画のフレーム毎の画像、音声、fpsなどの情報を取得します。３．「RTXVideoSuperResolution」ノードで、フレーム毎の画像をアップスケールします。４．「動画を作成」ノードで、アップスケールされた画像と音声を合成し、fpsに従って動画にします。５．「ビデオを保存」ノードで動画を保存します。「RTXVideoSuperResolution」の設定項目の詳細は、上記URLの説明を確認して下さい。基本的に「scale」で画像を何倍にするかだけ設定すれば大丈夫です。因みに、ComfyUI Nvidia VFX Nodes にはフレーム補完、HDR化のノードもありますので、興味のある方はお試し下さい。

２２（にゃんにゃん）

【曲】サキュバスは夜を失くした｜[Song] Succubus Lost Her Night

全体公開

夜はこない？ Will night ever come back? * 下記楽曲のアートワークとして制作しました。同名シリーズのイラストの元になった曲です。自作曲をAIでアレンジ後、作編曲・ミックスして仕上げました。 Created as artwork for the music video below. This is the track that inspired the illustration series of the same name. I arranged my original composition with AI, then refined the composition, arrangement, and mix by hand. https://youtu.be/t8UMiPWwIp4 (Model) Midjourney V8.2 (Size) 5888 x 3296 pixels (Upscaler) unlimited waifu2x *2x / Backend: WebGPU / Model: swin_unet - photo / DeNoise: None / Tile: 640, Shuffle / Alpha Channel: Disable (Last Seed) 767899878 (i2i Count) 0 time (Manual Adjustment) Merge 3 variations, Handwritten, White balance, Sharpness Prompt: A slender succubus girl standing across from the single bed in a hotel bedroom, open the curtains with one hand and staring expressionlessly at the beautiful fragmental city’s distorted 16k transparent nightscape outside. An extremely dynamic tilted shot taken from just behind below the close-up face. Looking up at the tops of the skyscrapers towering outside the window. Dramatic contrast of backlighting and shadow created by chiaroscuro. Bare light bulbs hanging from night sky. tilted vertical stripe and window blinds background, exquisitely detailed kawaii modern cartoon style surrealistic photograph, drawn with delicate fine lines, bold tilted composition, carm colors and vibrant solid colorful dots, blunt bangs, coquettish, wing, tail, horn, half opened large eyes, wearing open back short-sleeved and short-legged cute pajamas, absurdres, highres --raw --s 120 --v 8.2 --p wnrrlfx --sref 1958468279::3 1256473810::2 2770257201::1 2303749492::1 637741383::2 3635554940::2 2374731863::3 3289275409::1 3304104388::1 298143307::3 3905775254::3 707737553::1 --sw 30 --ar 16:9 --sv 6 --hd --exp 10