StableDiffusionに数万枚の画像を追加学習したWaifu Diffusionやtrinart V2のクオリティ向上を見ていると、自分もAIをトレーニングしてみたいな…という気分になってくる。

現状認識

モスターク氏は近日Stable Diffusionのアニメ版を出すとツイートしている。

Textual-inversionはどうなの？

ちなみに画像AIを追加学習させるのとは別の方法として、Textual-inversionによるファインチューニングという方法もある。結構手軽な方法らしく、無料のColabから実行できる環境を、birdMan氏が「neo-mimic」として公開してくれている↓

しかし、Textual-inversionは、潜在空間内を調整して画風を寄せているだけで、必ずしも画力が上がってるようには見えない。

haru氏（Waifu-Diffusionの作者）は大量の画像をTextual-inversionで学習してみたそうだが、泥みたいなぼやけた画像が生成されるようになってしまったらしい。↓

Untitled

つまり、Textual-inversionはガッツリ学習させるような用途の物ではないという事だろう。

ちなみにStable Diffusion版のDreamboothも中味はTextual-inversionらしい。