最近はwanで動画生成しまくってるが、16fpsの動画はまあいいっちゃいいけどちょっとfps不足でカクカクしてるように感じられなくもない。
そこで、ComfyUI-Frame-Interpolationを使ってフレーム補間で16→32fpsに変換するとかなりなめらかな動画になる。
https://github.com/Fannovel16/ComfyUI-Frame-Interpolation
このノード一発でフレーム補間できる↓
それはいいんだが、一番高速なRIFE-VFIノードを使った場合でも処理が遅い気がする。960x544の220フレームの動画をフレーム補間するのに140秒もかかってしまう。たかがフレーム補間処理ごときに動画生成自体と同じくらい時間かかってしまうのはいかがなものか？
というかRIFE-VFIだと何故かGPUで処理が行われずにCPUがぶん回ってしまってる。だから遅いのでは？代わりにFILM-VFIノードを使うとそれなりにGPUが回るのが確認できるが、結局FILM-VFI自体が重いので処理には162秒かかってむしろ遅くなる。
この状況が不満だったのでググって見つけたのがComfyUI-Rife-Tensorrtだ。TensorRTでRifeを実行する事で爆速化できるらしい。
https://github.com/yuvraj108c/ComfyUI-Rife-Tensorrt
実際試したところ、なんと数秒でフレーム補間処理が終わってしまって驚愕した。絶対にオススメである。動画のロードから補間後動画の保存まで含めたワークフロー全体の処理時間は16秒。
というわけで導入方法を紹介する。ちょっと面倒だがやる価値はある。
まずComfyUIManagerからカスタムノードをインストールする。
次にリポジトリのリンクからrife47かrife49のonnxファイルをDLする↓ このonnxファイルをTensorRTのエンジンファイルとやらに手動で変換する必要がある