この前WindowsでTorch.CompileによってFlux画像生成を20%高速化できて、まあまあ満足していた。
24/11/21 Windows、ComfyUI、FluxでTorch.Compileして画像生成を20%高速化しよう
しかし昨日見かけたRedditのComfyUI開発者のこちらのコメント
https://www.reddit.com/r/StableDiffusion/comments/1g1vqv9/comment/lrjk2xu/
LinuxでRTX4090でTorch.Compileすると生成速度は3.45it/sに達する…！？それが本当なら20ステップでたったの5.8秒で生成できてしまうではないか…！！
そんなバカな…私のWindows環境ではTorch.Compileしても2.63it/s…8.25秒程度を要するというのに…！
OSの違いでそんなに速度ちげえの？
メチャクチャ羨ましくなった結果、自分もWSL2のComfyUIを試してどんだけ速度上がるか見てみようと思った。
その結果、WindowsからWSL2に移行しただけで、1024x1024の画像の生成時間は10.59秒から9.21秒に1.38秒減少、生成速度は15%向上した！そしてWindows+Torch.CompileからWSL2+TorchCompileでは生成時間8.25秒→6.98秒に1.27秒減少、生成速度21.3%向上！
1920x1088の場合は、Windows→WSL2で生成時間27.31秒→23.38秒に3.93秒減少、生成速度16.8%向上！Windows+Torch.CompileからWSL2+TorchCompileでは生成時間23.21秒→18.36秒に4.85秒減少、生成速度26.4%向上！
1024x1024の場合
| it/s | 生成時間(秒) | |
|---|---|---|
| Windows | 2.02 | 10.59 |
| Windows+Torch.Compile | 2.63 | 8.25 |
| WSL2 | 2.32 | 9.21 |
| WSL2+Torch.Compile | 3.13 | 6.98 |
1920x1088の場合
| it/s | 生成時間(秒) | |
|---|---|---|
| Windows | 0.78 | 27.31 |
| Windows+Torch.Compile | 0.93 | 23.21 |
| WSL2 | 0.92 | 23.38 |
| WSL2+Torch.Compile | 1.18 | 18.36 |
結構速くなったね！