028:FramePack-eichiのフレーム画像保存設定
以前の記事はこちらから↓
「020:FramePackをポーズ変更ツールとして使う」
https://membership.chichi-pui.com/posts/images/d84e1e0b-b15e-4286-92f0-1fbde090ce6b/
1枚目の動画が、今回生成したものになります。
その生成の際に、2枚目の画像の黄色い枠で囲んだところの設定、「フレーム画像保存設定」という箇所の「全フレーム画像保存」を選択すると、outputsフォルダとして指定されているフォルダに、動画の1枚1枚の画像が連番付きで保存れます。(3枚目)
1フレーム1フレームの動きの差分は小さいので、わかりやすくするために、その中から0.1秒間隔くらいの飛び飛びで9枚ピックアップして並べてみたのが4枚目です。キャラの動きが別ポーズとして出力されている感じがわかるかと思います。
動画の解像度は生成速度のこともあるので544×704と結構低めなので、これをFooocusなどの画像生成ツールで高解像度化して使うとよいと思います。便利ですね。
↓今回の動画生成時のプロンプトです。ご参考まで。
==========
A character dancing slowly, her soft breasts bouncing wildly, arms gesture up and down, expressively pointing confidently, and sweeping dramatically through the air, sways upper body from side to side, wiggles hips.
Below are the instructions for the entire video:
1. The style of painting does not change.
2. The character's facial expression does not change.
3. bouncing breasts.
6
036:Qwen Image Edit の使い方
全体公開
今回は、元画像からテキスト指示で画像を編集できるQwen Image Editを試してみました。 例によって、差分の画像をStart-Endにフレーム指定して動画を作るのに便利、という動機からです。 まずは元画像としていつものようにAnim4gineで画像を用意します(2枚目)。 これを3枚目の画像のようにしてQwen Image Editのワークフローにセットします。 プロンプトとしては、「背景だけをフォトリアルな森の画像に差し替えてください」みたいな自然文をgoogle翻訳で英語にしたものを使ってみました(4枚目)。 今度は4枚目の画像を元にして、「キャラクターを削除して背景だけにしてください」とすると、5枚目のような森の風景だけの画像になりました。消しゴムマジックみたいなことができますね。 さらに「キャラクターを削除するけど、線画だけは残してくれ」としてみたのが6枚目で、そこから「背景を夜にして、線画を光らせてくれ」としたのが1枚目、といった感じです。 nano bananaほど指示がきれいに反映されるというわけではなく、融通が利かないところもあるんですが、これをローカルのPCで使い放題というのは結構楽しいです。 いろいろ試してみたくなりますね。
6
035:Anytestの使い方
全体公開
Wan2.2で動画を作るときにはポーズ差分の画像があるとStart-Endでフレーム指定で安定した動画が生成できるので、最近はポーズ差分画像をどう作るかをいろいろ試しています。 nano bananaは強力なのですが、制約があったり絵柄がnano banana絵柄に寄ったりするので他の手段も試している、というか。 私がメインで使っている画像生成モデルはAnimagine4なので、Controlnetでポーズ指定するという手が使えます。 SDXL系のControlnetとしてはAnytestという強力なブツがあるので、それを試してみました。 まずは2枚目のような、大雑把な構図指定画像を手描きします。これはClip Studio Paintでマウスでちょいちょいと5分程度で描いた代物で、「まあなんとなく言いたいことは分かる」レベルのものかな、と思います。 この構図指定画像を参照画像として設定しているのが3枚目の画像で、Anytestを使うためのComfyUIワークフローです。このワークフローで画像を生成したのが1枚目です。なんとなくそれっぽくはなっている気がしますね。 ↓プロンプトはこんな感じにしています。 1girl, _, from _, blonde long hair, blue eyes tareme, forehead, pointy ears large breast, groin tendon slim bod, single-shoulder long magical black robe, bra strap, mini skirt under robe frill skirt, contrapposto, water wave background, smile, (glitter magic circle effect:1.2) from hand, blue water effect, pure clear realistic water, splash water around wind blowing さて、Anytestですが、結構いろいろなことができる「万能Controlnet」と言われていて、例えば4枚目の画像の真ん中の部分を黒塗りでつぶして(5枚目)これを参照画像として渡すと、1枚目の画像のポーズを変更することができたりもします(6枚目)。 1枚目の画像と6枚目の画像を動画のStart-Endフレームに指定すれば、なんとなく水魔法を使っているエルフ姉さんの動画ができるような気がしますね! とまあこんな感じに便利なControlnet「Anytest」ですが、月須和さんがHuggingFaceで公開してくれています。ありがたいですね。 https://huggingface.co/2vXpSwA7
3
034:InfiniteTalkで読み上げ動画を作る
全体公開
前回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作りましたが、今回はセリフ音声と動画から、読み上げ動画を作ってみます。 前回のはWan2.2 S2Vで1枚の画像から動画を生成したのですが、口元以外の箇所はあまり動かないというか、ほぼ口パク動画、みたいな感じでした。 今回は人物がなにか動いている動画をもとに、口元をセリフに合わせて口パクさせるというもので、動きのある読み上げ動画を作る場合はこちらの方が良いようです。 こういった手法はVideo to Video(V2V)と呼ばれているようですね。 読み上げのためのV2VにはInfiniteTalkを用いてみました。 InfiniteTalkはまだWan2.2には対応していないので、Wan2.1と組み合わせて使ってみています。 2枚目の画像がInfiniteTalkを使うためのComfyUIのワークフローで、画面下の方で元となる動画(1枚目)を指定しています。 セリフ音声は上の方(音声を読み込む、のところ)に指定してみています。 3枚目もワークフローの一部で、真ん中のあたりにプロンプトを指定しています。この手法の場合、キャラクターの見た目も動きも動画で指定しているので、プロンプトは簡単に「The woman turns to me, stretches her body, and speaks with a smile.」(その女性は私の方を向き、体を伸ばして、笑顔で話します)としました。 あとは実行すると、セリフ音声に合わせて口元の動きが調整されます。
3
033:Wan22 S2Vで読み上げ動画を作る
全体公開
今回はWan2.2のS2Vモデルを使って、セリフ音声と画像から、読み上げ動画を作ってみました。 S2Vは、音声からそれに合った動画を生成するものですが、元画像を指定するとそれをもとにI2Vのように画像に沿った動画を生成してくれます。 前回使った魔法少女画像の顔アップ(2枚目)を元画像に指定し、音声として「魔法少女Muacca、いつもみんなと楽しく、ですです」という読み上げ音声を指定してできたのが1枚目の動画です。 残念ながらちちぷいには音声付の動画は投稿できないので、口パクだけになってしまいますが、元画像のキャラがなにかしゃべっている感じになっているのは分かるかと思います。 Wan2.2 S2Vですが、UIとしては公式から配布されているComfyUIワークフローを用いて実行しました(3枚目)。 基本的にはデフォルト値のままで使うのがいいようです。 ちなみに16fpsが指定されているのですが、これを30fpsとかにすると音声と口パクがズレるので、変えないほうが良いようです。fpsを変更したい場合は、生成した動画を別のツールでフレーム補間すればよいと思います。 あと、公式の情報では生成される動画は77フレーム分と書いてあって、これは変更しないほうが良いとのことでした。16fpsだと4秒くらいの動画になるはずなのですが、結果として生成されたのは14秒くらいのものだったので、それがなぜなのかはよくわかりません。投入した音声は4秒くらいだったので、ここに投稿しているものは後ろの無音声部分をカットしてあります。
他のクリエイターの投稿
26
夜蝶アイドルコーデ
580コイン/月以上支援すると見ることができます
2
街角プリンセス
100コイン/月以上支援すると見ることができます
18
星あかりの湖畔で読書
580コイン/月以上支援すると見ることができます
27
ComfyUIで入力を切り替えるSwitch
全体公開
ComfyUIのフローで処理を切り替える際に使用するノードにSwitchがあります。 複数の入力の内、1つを選択して次のノードへ送ります。 これにも色々な種類がありますので、使用目的に合わせて合ったものを使って下さい。 画像1にSwitchの例を揚げておきます。 画像2:Switchの使い方の前に知っておいて頂きたいノードがあります。 ・rgthree-comfy URL: https://github.com/rgthree/rgthree-comfy Fast Groups Bypasser (rgthree) ノードを纏めるのにGroupと呼ばれる枠を使用しますが、そのGroup単位でノードをバイパスさせるノードです。 バイパス状態になるとそのノードは機能せず、データがスルーされます。 また、定数など固定型のデータを持っているノードや処理結果を出力するノードの場合は何も出さなくなります。 フローの中で処理をパスしたい際に良く使いますので、知っておいて下さい。 詳細は最後で。 ---------------------------------------------------------------------------------------------------------- 1.画像3~画像6は下記Switchを使った例です。 ・rgthree-comfy URL: https://github.com/rgthree/rgthree-comfy Any Switch (rgthree) 入力に対し、any_01から順に有効なデータがある入力が優先されます。 画像4、画像5の様に3番目のデーターが有効でも1番目や2番目が優先されます。 出力のデーター型は、入力に合わせられます。 ---------------------------------------------------------------------------------------------------------- 2.画像7~画像9は下記Switchを使った例です。 ・ComfyUI Impact Pack URL: https://github.com/ltdrdata/ComfyUI-Impact-Pack Switch (Any) 入力の切り替えを「select」に指定する番号で行うタイプのノードです。 入力端子は自動的に増える様になっています。 このノードは一度接続したノードを別のデータ型の接続に使用しないで下さい。 出力端子のデーター型がINTに固定されてINT型以外では使えなく成る場合があります。 使用したノードをコピーペーストしない様にして下さい。 ペーストした時点で何も接続していないのに入力端子が増えていきます。 おそらくバグです。 便利ですが癖が強いので、使用時には注意して下さい。 画像10~画僧13は、1と2を使った応用です。 特定のGroupをバイパスした時に、特定のデーターを使うイメージです。 ---------------------------------------------------------------------------------------------------------- 3.画像14~画像15は下記スイッチを使った例です。 ・ComfyUI標準ノード スイッチ 入力の切り替えを「スイッチ」の「true(真)/false(偽)」で行うタイプのノードです。 切り替え値が2つしか無いので、入力は2つです。 画像16~画像17は、1と3を使った応用です。 ---------------------------------------------------------------------------------------------------------- 4.画像18~画像20は下記Switchを使った例です。 ・JPS Custom Nodes for ComfyUI URL: https://github.com/JPS-GER/ComfyUI_JPS-Nodes Image Switch (JPS) 画像用のSwitchです。 入力の切り替えを「select」に指定する番号で行うタイプのノードです。 画像21~画像23は、1と4を使った応用です。 Switchの機能について簡単に説明しましたが、色々なタイプのSwitchが有りますので、それそれ確認して使って下さい。 ---------------------------------------------------------------------------------------------------------- おまけ Fast Groups Bypasser (rgthree) ノードについて。 このノードは配置した時点で、キャンバス上に存在する全てのGroupをチェックし、一覧で表示します。 しかし、実際に制御したいGroupは特定のGroupに限られますので、対象を絞る必要があります。 その際使用するのが、プロパティです(画像24) ノードを右クリックして表示されるコンテキストメニューから「プロパティ」をクリックすると設定メニューが表示されます。 指定に良く使う物だけ記述します。 matchColors:Groupに設定した色(画像25)を指定します、同じ色のGroupのみノードに表示されます。 matchTitle:Groupに設定したタイトルの部分一致でノードに表示されます。 ※matchColorsとmatchTitleをセットで使うと更に絞り込めます。 sort:ノード上のGroupの表示順を簡易的に指定できます(画像26) position:Groupのキャンバス上の位置で順番が決まります。 alphanumeric:Groupタイトルの文字コード順で決まります。 custam alphbet:ComfyUIの「設定」内の「rgthree」の設定で設定した値に基づきソートされますが、設定のしかたが分かっていませんw toggleRestiction:有効に出来るGroupの最大値を設定できます(画像27) default:基本の設定、全て有効にできます。 max one:最大で1つを有効にできます(全て無効にできます)。 always one:どれか1つを常に有効にできるハズですが…max oneと同様の動きをしています。 バグなのか、私の環境の影響なのかは分かりません。 複数のGroupの内1つだけ有効にしたい場合は、max one か always one に設定して下さい。
6
放課後スイーツ
100コイン/月以上支援すると見ることができます
2
妖精ビレッジの住人②
150コイン/月以上支援すると見ることができます
13
湯気と光が溶け合う夢のお茶会
580コイン/月以上支援すると見ることができます
6月リリース新機能情報
全体公開
みなさん、こんにちは!🌟 今回は、6月にリリースした新機能・改善内容をご紹介します! ▼投稿機能関連 ①マンガ投稿機能をリリース! 「マンガ」カテゴリへの投稿に対応しました📖 これまでイラスト・フォトのみだった投稿カテゴリに、新たに「マンガ」が加わりました。 マンガ作品だけをまとめて閲覧できるようになり、読みたい作品が探しやすくなっています。 1ページから投稿できるので、連載作品はもちろん、1ページ完結の作品やショートマンガなども気軽に投稿できます! 今後も、AIマンガをより楽しめる機能を順次追加していく予定ですので、ぜひご活用ください✨ ②よく使うタグの履歴削除機能 投稿時に表示される「よく使うタグ」の履歴を削除できるようになりました。 不要になったタグや、表示したくないタグを整理できるため、より快適にタグを選択できます! ▼コレクション機能関連 コレクションのカバー画像選択機能 コレクションごとに、カバー画像を自由に設定できるようになりました! お気に入りの作品を表紙に設定することで、自分らしいコレクションを作成できます。 作品集やシリーズ作品などを、より魅力的に見せられるようになっています✨ ▼その他の改善 その他にも、以下の改善を実施しました。 ・投稿時に「Anima」を利用AIとして選択可能に ・ショップ機能のアーリーアクセス募集を開始( https://www.chichi-pui.com/form/shop-early-access/ ) ・コメント内の外部サイトへのリンクは、安全のため確認画面を経由して開くようになりました 上記以外にも、細かな改善や不具合修正を実施しています。 今後もみなさんにとって「使いやすく!」「楽しく!」利用できるサイトを目指して、継続的に改善を進めてまいります。✨
7
カナリィ/モンスターボール
100コイン/月以上支援すると見ることができます
3
ComfyUIのちょっと便利なノード紹介2
全体公開
今回紹介するのは、フォルダー(ディレクトリー)を選択できるノードです(画像1)。 ・ComfyUI-JNodes URL: https://github.com/JaredTherriault/ComfyUI-JNodes Subdirectory Selector 「root_directory」に検索したい上位フォルダーのフルパスを入力します。 「refresh」ボタンをクリックすると、サブフォルダーを検出してくれます。 「subd_0」から順にサブフォルダーを選択できます(画像2)。 出力は選択したフォルダーのフルパスです(画像3)。 これ↓などと合わせると使い勝手が上がるかも知れません。 https://membership.chichi-pui.com/posts/images/9c4c3535-f4a4-4c14-8f1e-3025aa90f081/
メンバーシッププランの見直しについて
全体公開
メンバーシップのプランを見直します。 金額ベースと3つのプランという構成は引き続きそのままです。 200コインと500コインのプランのプラン内容がそれぞれ変更になります。 なお、7月は運用移行期間とするため、「スタンダード応援プラン」の一部コンテンツはライトプランでも閲覧可能とします。 ◆ライトプラン 6月までの「スタンダードプラン」の名称だったプランです。 よりクオリティの高い毎日投稿(画像+小説)を継続していくため、「スタンダード応援プラン」をメインの活動拠点にリニューアルします。 200円プランは、スキマ時間にサクッと楽しめる息抜きコンテンツの場所に生まれ変わります! ほぼ毎日投稿の頻度はそのままに、小説は少なめにして代わりにイラストの範囲を全年齢やR-15などにも広げた投稿になります。 費用200コイン(タイトルにL-???で投稿予定) 投稿日から2カ月分のコンテンツを参照可能 ◆スタンダード応援プラン 6月までの「支援マシマシプラン(旧プレミアムプラン)」の名称だったプランです。 がっつり応援いただいていた皆様に応援いただいた実感を持っていただけるよう、このプランを更に充実させていきます。 費用500コイン(タイトルにS-???で投稿予定) ライトプランで投稿しているコンテンツはすべて閲覧可能で、さらに追加のコンテンツが閲覧できます。 従来スタンダードプランで提供していた「ほぼ毎日イラスト+小説を投稿」をこちらに移行します。 投稿日から2カ月分のコンテンツを参照可能 ◆プレミアム・アーカイブプラン ChiChi-puiのメンバーシップ試験運用の段階から投稿してきた過去分含めた累計900投稿以上のメンバーシップコンテンツの全コンテンツが閲覧可能なプランです。 このVIPプランをぜひご利用くださいっ! 6月までの名称:「プレミアム+プラン」 費用1,500コイン リクエストは引き続き、どのプランでも利用可能としておきます(今のところ) https://membership.chichi-pui.com/posts/images/fcfed0a3-07ed-44f5-93c9-765ddb81636c/ よろしくお願いいたします。
8
パジャマ
300コイン/月以上支援すると見ることができます
12
骸骨兵士の事務待ち行列
580コイン/月以上支援すると見ることができます
3
絵柄指定プロンプト【第二弾】
100コイン/月以上支援すると見ることができます
2
博多祇園山笠
100コイン/月以上支援すると見ることができます
6
今日はご褒美デー
100コイン/月以上支援すると見ることができます