画像AIの方はSDXLやらComfyUIやら、まあ一通り触ったから一旦置いといていいだろう。
そんで次は、最近色んなオープンソースLLMが出まくってるが、全然触れてないのでそっちに着手せなアカンと思う。
とは言え、何でもかんでもデタラメに触りまくってればいいというものでもないだろう。目的意識を持って触る事が大事やと思う。
私がイマイチオープンLLMに食い付けてないのは、忙しいからというのもあるが、そもそも論として、すでにGPT-3.5とGPT-4という最強のLLMがAPIで使える環境があるからだ。
GPTよりも弱いオープンAIなんか使うくらいなら素直にGPTを叩く方がいい。
まあ基本的な話としてはそうなんだけど、とは言え色々あって、オープンなLLMに期待したい点もあるっちゃある。
てかこういう話、４月にも書いてたわ。↓
23/04/22 ローカルで動かせるオープンソースのLLMに何を求めるのか？
４月の時点で自分がオープンLLMに何を求めていたか、あらためてまとめると、まず自作ゲームへの組み込み用途が挙げられている。
日本人向けにNLPアドベンチャーのような会話ゲームを作るとしたら、やはり日本語特化の強力なモデルが必要だとも書いている。
さらに、日本語と英語の間で高品質な翻訳ができるモデルも必要だとしている。というのも、翻訳モデルがあれば別に強力な日本語モデルが無くとも英語モデルを翻訳させればいいからだ。そして英語データセットから日本語データセットに翻訳するにも翻訳モデルがあれば無料で翻訳できて助かる（DeepLのAPI代は結構高い）
４月の時点で私がオープンLLMに見出してた用途は以上のようなもんだったが、現在ではオープンLLMに期待される事は他にもある気がする。
例えば、GPTのAPIはファインチューニングできない。Davinciの頃はAPIからファインチューニング可能だったのが、GPT3.5やGPT4ではファインチューニングできなかった。それに対して、オープンLLMならファインチューニングで自分の好きなようにカスタムできる。
とか言ってたのが、つい３日前にGPT3.5のファインチューニングができるようになってしまった↓