最近、Dreamboothみたいな事が出来る新しい手法、LoRAというものが登場した。
LoRAのメリットは、①学習速度がDreamboothの２倍速い ②必要なGPUのVRAMは8GB未満 ③学習結果はたった3MBのptファイルに保存される。Dreamboothみたく、イチイチ2GBのckptファイルが増えていかずに済む というあたりだ。
さっそく、WebUIから使えるようになっているらしい。私のグラボはVRAM8GBなので、ローカルのWebUIからLoRAが動くはずだ。
というわけで、早速、いつも通りさやかさんを学習させてみた。（24枚の画像、1エポック、2400ステップ ベースはでりだモデル）
学習には45分くらいかかった（グラボはGTX1080）
結果はこうだ↓（インスタンス名（skksyk）だけで画像生成）
う～ん、悪い意味で現代アートみたいになっちゃってる…。
一般的なネガティブプロンプトを付けると多少マシになる。↓
（ネガティブプロンプト：mutated hands and fingers, text, title, deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, out of focus, long neck, long body）
いずれにせよ、今まで普通にDreamboothしてた結果に比べてLoRAは良くない。
結局、いまだに私の中で一番最良の方法はJoepenna版Dreamboothであり続けている。学習が多少速かろうが、VRAM節約できようが、品質が低ければ使えない。何しろ品質の差は手作業で修正するハメになるのだから、最高品質の手法以外を使う事はあり得ない。
まあ、今回のLoRAの設定は手探りで詰めずにやったので、設定を詰めればもっと良くなるのかもしれないが。
以下、試したい人のために手順をメモっておく。