動画生成AIのMiniMax-H3を触るメモはこの前書いた。
それからH3を便利に使うためのカスタムノードやワークフローが色々出てきてるが、その中でも便利そうなContex-Loopというヤツを触ってみる。
Contex-Loopとはなにか？というとMotionContextの強化版である。じゃあMotionContextって何だよ？から説明する。 まず、H3は仕様上は15秒尺が生成の上限である。じゃあそれ以上の長尺動画を作りたい時は？というとまあ普通は別の動画を別のカットとして生成すればいいだけの事だが、どうしてもワンカット長回しの動画を作りたい時もあるかもしれない。
MotionContextを使う場合、まず初回に生成した15秒の動画の最後の1秒部分を次の生成に入力して続きを作らせる。そうする事で切れ目の分からない自然に繋がった動画を生成する事ができる。これを繰り返せば理論的にはいくらでも尺を増やせる。
H3の動画生成は5秒の動画生成に比べて10秒生成は2倍じゃなく3倍、15秒生成は3倍じゃなく6倍の時間がかかると言われてる。だから一度に15秒尺を生成するよりMotionContextで5秒尺を3回生成した方が速いかもしれない。
で、MotionContextで長尺動画を作るのはいいが、チマチマ一本ずつ動画を入力してプロンプトを書き換えて…とかやってたら面倒だ。その辺の手間が簡単になるように高機能化したものが本題のContex-Loopである。
https://github.com/ethanfel/ComfyUI-MiniMaxH3-Contex-Loop
というわけで試しにContex-Loopでなんか作ってみよう。作例として桃太郎のキャラが全員女の子になった「桃太郎子」のアニメを作らせてみよう。
一応、ワークフローをアップしておく↓
MiniMax H3 Ref2V - Studio Tagged (1).json
とりま、ChatGPTにキャラデザしてもらう
.png)
.png)
.png)
Contex-Loopのカスタムノードをインスコしたら、GitHubからワークフローを選んでダウンロードして開く。
ワークフローが色々あって、どれ使えばええねん？と思うがまずキャラデザ画像を入力する必要があるのでT2VやFL2VじゃなくてRef2Vが必要であり、その中で一番高機能なのはStudioTaggedなのでこれをDLして開く。（手元に曲があってそれに動画を付けてMVみたくしたい場合はStudioTaggedSourceAudioを選ぶ）
Contex-Loopは多機能なためかワークフローがゴチャついてて一見ワケが分からない↓
まず、モデル読み込み部分を自分好みにカスタマイズする。これはデフォルトのH3ワークフローと要領は同じ。私の場合はCK-AttentionよりSageAttentionの方が速いのでそっちに切り替えて、Sol-Attnも導入。ターボLoRAはLightX2VのFL2V用、v0.1を強度0.75で設定。サンプラーはer_sdeに、スケジューラをsimpleに変更。これで6ステップ生成する。