ComfyUIでデティールアップしよう

今回はワークフローの接続ライン（線）を整理するノードの紹介です。 以前「ComfyUIでデティールアップしよう」↓で「ToBasicPipe」ノードを紹介しましたが、それと似たノードです。 https://membership.chichi-pui.com/posts/images/d47ba55c-1bfc-4e4f-9651-4b49e84914fc/ 画像１ 使用したカスタムノード ・rrgthree-comfy URL： https://github.com/rgthree/rgthree-comfy 　Context (rgthree) 見ての通り、複数の項目を１本のラインに乗せて次のノードへ届ける事が出来ます。 また、in と out が同じノード上にあるので、集線端子的な使い方も出来ます。 デイジーチェーンが可能です。 画像２ 使用したカスタムノード ・ComfyUI-Crystools URL： https://github.com/crystian/ComfyUI-Crystools 　🪛 Pipe to/edit any 　🪛 Pipe from any 「🪛 Pipe to/edit any」と「🪛 Pipe from any」で対に成るノードです。 入力に指定が無くどの項目でも繋げます。 これも、デイジーチェーンが可能です。 なお、in と out は１対１で対応しているので、途中で違う項目を繋いだら内容が変わりますので、注意して下さい（画像３で入力と出力の文字列の違いに注目して下さい）。 画像４～６ 実際に使った例です（上下２段に分かれているのは、使用しているKサンプラーの違い）。 生成後に目のデティールアップを行っています。 画像４は、全体の繋がりです。 画像５は、余り変更しないローダー、設定関係のノードを左端に纏めたものです。 画像６は、「ToBasicPipe」を併用したimpact_packのKサンプラーを使った例です。 画像７は、標準のKサンプラーを使った例です。 上段、下段どちらが良いかは、好みです。 お好きなやり方でワークフローを組み立てて下さい。

今回は動画のフレーム補完です。 フレーム補完とは、既存の動画のフレームとフレームの間にフレームを追加する事でfpsを上げる事を言い、フレームが増える事で動きが滑らかになります。 動画生成時には低fpsで生成し時間とVRAMを節約、作品として公開する際にはフレーム補完で動きの滑らかな作品にできます。 ComfyUIのテンプレートの「ビデオツール」の中に「フレーム補完」がありますので、それを使えば簡単です。 画像１は、テンプレートを少し変更して、簡易化したワークフローです。 画像２は、フレーム補完部分のノードをサブグラフに纏めたものです。 全てComfyUI標準のノードです。 フレーム補完で大切な事は、「動画を作成」ノードでのfpsの指定です。 これを間違うと、音声と画像の同期が取れなく成ってしまいます。 これを補正するのが、「Int (Multiplier)」と「数式」ノードです。 「Int (Multiplier)」では、フレーム数を何倍にするのかの倍率を指定します。 ※16fpsを32fpsにする場合は 2 （入力値は整数のみ指定可能でした）。 「数式」では、元の fps と倍率を掛けて最終的な fps を算出します。 ※fps は浮動小数点なので、注意！ -------------------------------------------------------------------------------------------- 画像３は、動画のアップスケールの際に書いたフレーム補完ノードを使った例です。 基本的な使い方は、テンプレートの物と変わりません。 画像４は、フレーム補完部分のノードをサブグラフに纏めたものです。 今回使ったカスタムノード ・ComfyUI Nvidia VFX Nodes https://github.com/Comfy-Org/ComfyUI_Nvidia_VFX_Nodes 　RTXVideoFrameGeneration 画像３の茶色のノードです。 「RTXVideoFrameGeneration」の設定項目の詳細は、上記URLの説明を確認下さい。 基本は「multilier」を（テンプレートの倍率と同じ）設定するだけです。 -------------------------------------------------------------------------------------------- 画像５は、アップスケールとプレーム補完を連続で行う例です。 ※「Int (Multiplier)」と「multilier」を繋ぎ忘れてます💦 私の場合パラパライラストを作る関係で、アップスケール→フレーム補完の順番で行っています。 実際の順番は、処理時間、画像の綺麗さなどを加味し、環境に合わせて決めて下さい。

今回は、動画のアップスケール（拡大）です。 先に MiniMax H3で動画を生成しましたが、メモリーの関係で「メガピクセル」を大きく設定できない場合などに、動画の解像度を上げる為に行います。 イラストでも行いますよね。 今回使用したカスタムノードは ・ComfyUI Nvidia VFX Nodes URL： https://github.com/Comfy-Org/ComfyUI_Nvidia_VFX_Nodes 　RTXVideoSuperResolution です。 画像１の茶色のノードです。 名前の通り、NvidiaのRTXにのみ対応したノードです。 その他のノードはComfyUI標準のノードです。 フローの簡単な流れを説明します。 １．「ビデオを読み込む」ノードで、目的の動画を読み込みます。 ２．「ビデオコンポーネントの取得」ノードで、動画のフレーム毎の画像、音声、fpsなどの情報を取得します。 ３．「RTXVideoSuperResolution」ノードで、フレーム毎の画像をアップスケールします。 ４．「動画を作成」ノードで、アップスケールされた画像と音声を合成し、fpsに従って動画にします。 ５．「ビデオを保存」ノードで動画を保存します。 「RTXVideoSuperResolution」の設定項目の詳細は、上記URLの説明を確認して下さい。 基本的に「scale」で画像を何倍にするかだけ設定すれば大丈夫です。 因みに、ComfyUI Nvidia VFX Nodes にはフレーム補完、HDR化のノードもありますので、興味のある方はお試し下さい。

今回はMiniMax H3の場面の画像を参照させた動画作成です。 作例は↓こちら、動画はそれぞれのキャプションから、Xに移動して下さい。 https://membership.chichi-pui.com/posts/images/00bee71b-694e-4eaf-9162-094c26ad8159/ https://membership.chichi-pui.com/posts/images/fd6b65a3-5c4a-44a9-9f6d-694b5963ede0/ https://membership.chichi-pui.com/posts/images/b1acf37d-9b82-4c1a-9c51-9856e08e0fc5/ ワークフローはComfyUIのテンプレートにある「MiniMax H3:マルチフレーム参照」をベースに、ノードを整理し参照画像を５個に増やしました（画像１）。 特に参照画像関係のノードは接続するラインが多かったので、ミニグラフに纏めて、in・outのスロットを揃えました（画像２・画像３） これで、参照画像が増えてもコピー・ペーストでノードを追加し、簡単に接続ができます。 使う画像が少ない場合は、「Fast Groups Bypasser (rgthree)」で使用しない画像のグループを「No」に設定するだけです。 ※2026/10/07のアップデートで「Fast Groups Bypasser (rgthree)」のプロパティ「toggleRestiction」の動作が修正されました。 注意点として、参照画像毎に設定する「Frame Index」をプロンプトに記載した「[Shot x] AT 00:xx.000,」 の時間と合わせる必要がある事です（合わせないと、期待したタイミングで画像が使われません）。 忘れやすいので注意しましょう。 ※参考）MiniMax H3のプロンプト記述ガイド↓ 　https://huggingface.co/MiniMaxAI/MiniMax-H3/blob/main/docs/VIDEO_PROMPT_WRITING_GUIDE_ref_en.md 出力サイズ（メガピクセルの値）で処理時間が変わりますので、小さい値で初めてプロンプトが固まったら大き目の値で生成するのが良いかと思います。 なお、テンプレートには4Step TurboLoRAが指定されていますが、4Stepは流石に画質が悪いです。 私は以下のモデルとLoRAを使っています。 モデル：minimax_h3_fl2va_pruned_int8_convrot.safetensors LoRA：minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors ※ちなみに、作例の最後の物は、4StepLoRAを8Stepで実行したのですが、それでも少し画質が落ちています。 ------------------------------------------------------------------------------------------------------------ おまけ 実は、「MiniMax H3:マルチフレーム参照」のテンプレートを知る前に、複数画像参照の動画を生成した事があります。 画像４の「MiniMax H3 リファレンスから動画へ」のノードには、「ref_Image_0」「ref_Image_1」しか映っていませんが、もっと多くの画像を接続する事ができます。 「ref_Image_0」「ref_Image_1」に画像を接続すると「ref_Image_2」が現れます。同様に、「ref_Image_2」に接続すると「ref_Image_3」が現れるので、最終的に「ref_Image_4」まで（画像５枚）を接続して生成しました。 生成したのがこちら↓★Xにジャンプします。 https://x.com/22_NyanNyan_CCP/status/2104914091005608358 しかし、あくまで画像が参照されるだけで期待したタイミングに合わせる事は出来ませんでしたが、思いの外上手くいきました。