カラフルな少女 別イラスト

今回は動画のフレーム補完です。 フレーム補完とは、既存の動画のフレームとフレームの間にフレームを追加する事でfpsを上げる事を言い、フレームが増える事で動きが滑らかになります。 動画生成時には低fpsで生成し時間とVRAMを節約、作品として公開する際にはフレーム補完で動きの滑らかな作品にできます。 ComfyUIのテンプレートの「ビデオツール」の中に「フレーム補完」がありますので、それを使えば簡単です。 画像１は、テンプレートを少し変更して、簡易化したワークフローです。 画像２は、フレーム補完部分のノードをサブグラフに纏めたものです。 全てComfyUI標準のノードです。 フレーム補完で大切な事は、「動画を作成」ノードでのfpsの指定です。 これを間違うと、音声と画像の同期が取れなく成ってしまいます。 これを補正するのが、「Int (Multiplier)」と「数式」ノードです。 「Int (Multiplier)」では、フレーム数を何倍にするのかの倍率を指定します。 ※16fpsを32fpsにする場合は 2 （入力値は整数のみ指定可能でした）。 「数式」では、元の fps と倍率を掛けて最終的な fps を算出します。 ※fps は浮動小数点なので、注意！ -------------------------------------------------------------------------------------------- 画像３は、動画のアップスケールの際に書いたフレーム補完ノードを使った例です。 基本的な使い方は、テンプレートの物と変わりません。 画像４は、フレーム補完部分のノードをサブグラフに纏めたものです。 今回使ったカスタムノード ・ComfyUI Nvidia VFX Nodes https://github.com/Comfy-Org/ComfyUI_Nvidia_VFX_Nodes 　RTXVideoFrameGeneration 画像３の茶色のノードです。 「RTXVideoFrameGeneration」の設定項目の詳細は、上記URLの説明を確認下さい。 基本は「multilier」を（テンプレートの倍率と同じ）設定するだけです。 -------------------------------------------------------------------------------------------- 画像５は、アップスケールとプレーム補完を連続で行う例です。 私の場合パラパライラストを作る関係で、アップスケール→フレーム補完の順番で行っています。 実際の順番は、処理時間、画像の綺麗さなどを加味し、環境に合わせて決めて下さい。

今回は、動画のアップスケール（拡大）です。 先に MiniMax H3で動画を生成しましたが、メモリーの関係で「メガピクセル」を大きく設定できない場合などに、動画の解像度を上げる為に行います。 イラストでも行いますよね。 今回使用したカスタムノードは ・ComfyUI Nvidia VFX Nodes URL： https://github.com/Comfy-Org/ComfyUI_Nvidia_VFX_Nodes 　RTXVideoSuperResolution です。 画像１の茶色のノードです。 名前の通り、NvidiaのRTXにのみ対応したノードです。 その他のノードはComfyUI標準のノードです。 フローの簡単な流れを説明します。 １．「ビデオを読み込む」ノードで、目的の動画を読み込みます。 ２．「ビデオコンポーネントの取得」ノードで、動画のフレーム毎の画像、音声、fpsなどの情報を取得します。 ３．「RTXVideoSuperResolution」ノードで、フレーム毎の画像をアップスケールします。 ４．「動画を作成」ノードで、アップスケールされた画像と音声を合成し、fpsに従って動画にします。 ５．「ビデオを保存」ノードで動画を保存します。 「RTXVideoSuperResolution」の設定項目の詳細は、上記URLの説明を確認して下さい。 基本的に「scale」で画像を何倍にするかだけ設定すれば大丈夫です。 因みに、ComfyUI Nvidia VFX Nodes にはフレーム補完、HDR化のノードもありますので、興味のある方はお試し下さい。

今回はMiniMax H3の場面の画像を参照させた動画作成です。 作例は↓こちら、動画はそれぞれのキャプションから、Xに移動して下さい。 https://membership.chichi-pui.com/posts/images/00bee71b-694e-4eaf-9162-094c26ad8159/ https://membership.chichi-pui.com/posts/images/fd6b65a3-5c4a-44a9-9f6d-694b5963ede0/ https://membership.chichi-pui.com/posts/images/b1acf37d-9b82-4c1a-9c51-9856e08e0fc5/ ワークフローはComfyUIのテンプレートにある「MiniMax H3:マルチフレーム参照」をベースに、ノードを整理し参照画像を５個に増やしました（画像１）。 特に参照画像関係のノードは接続するラインが多かったので、ミニグラフに纏めて、in・outのスロットを揃えました（画像２・画像３） これで、参照画像が増えてもコピー・ペーストでノードを追加し、簡単に接続ができます。 使う画像が少ない場合は、「Fast Groups Bypasser (rgthree)」で使用しない画像のグループを「No」に設定するだけです。 ※2026/10/07のアップデートで「Fast Groups Bypasser (rgthree)」のプロパティ「toggleRestiction」の動作が修正されました。 注意点として、参照画像毎に設定する「Frame Index」をプロンプトに記載した「[Shot x] AT 00:xx.000,」 の時間と合わせる必要がある事です（合わせないと、期待したタイミングで画像が使われません）。 忘れやすいので注意しましょう。 ※参考）MiniMax H3のプロンプト記述ガイド↓ 　https://huggingface.co/MiniMaxAI/MiniMax-H3/blob/main/docs/VIDEO_PROMPT_WRITING_GUIDE_ref_en.md 出力サイズ（メガピクセルの値）で処理時間が変わりますので、小さい値で初めてプロンプトが固まったら大き目の値で生成するのが良いかと思います。 なお、テンプレートには4Step TurboLoRAが指定されていますが、4Stepは流石に画質が悪いです。 私は以下のモデルとLoRAを使っています。 モデル：minimax_h3_fl2va_pruned_int8_convrot.safetensors LoRA：minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors ※ちなみに、作例の最後の物は、4StepLoRAを8Stepで実行したのですが、それでも少し画質が落ちています。 ------------------------------------------------------------------------------------------------------------ おまけ 実は、「MiniMax H3:マルチフレーム参照」のテンプレートを知る前に、複数画像参照の動画を生成した事があります。 画像４の「MiniMax H3 リファレンスから動画へ」のノードには、「ref_Image_0」「ref_Image_1」しか映っていませんが、もっと多くの画像を接続する事ができます。 「ref_Image_0」「ref_Image_1」に画像を接続すると「ref_Image_2」が現れます。同様に、「ref_Image_2」に接続すると「ref_Image_3」が現れるので、最終的に「ref_Image_4」まで（画像５枚）を接続して生成しました。 生成したのがこちら↓★Xにジャンプします。 https://x.com/22_NyanNyan_CCP/status/2104914091005608358 しかし、あくまで画像が参照されるだけで期待したタイミングに合わせる事は出来ませんでしたが、思いの外上手くいきました。

K-skさんの↓【お買い物に行こう！】 https://www.chichi-pui.com/posts/d85140a3-b9fd-4edf-9b37-0855d865b206/ ２２（にゃんにゃん）の↓「うわまどちゃんが目を離した瞬間！」 https://www.chichi-pui.com/posts/c618756b-4ecb-4d21-843e-d86d426f4a7e/ ２２（にゃんにゃん）の↓「さかにゃがいっぱいにゃ！」 https://www.chichi-pui.com/posts/a48305c5-9454-4536-800b-ee444eed7105/ cyan motoさんの↓「更につにゃげておさかにゃダッシュ！！」の少し前の絵ｗ https://www.chichi-pui.com/posts/5596b564-2b32-4b19-bbb8-bd0c754006d7/ までをMiniMax H3で動画を生成、スケールアップ後、フレーム画像１７５枚から４０枚を選択しました。 １２枚版はこちら↓ https://www.chichi-pui.com/posts/8ef682cf-696d-47c1-b227-6bc27be4dc03/ 動画をXにアップしました↓★Xにジャンプします。 https://x.com/22_NyanNyan_CCP/status/2107821607083446674