最近、オープンソースのLLMが大量に登場している。
数え上げるとキリがないが、LLaMAから派生したAlpacaだの、RWKVだの、GPT4ALLだの、Vicunaだの、Cerebras-GPTだの、とにかく大量に出てきている。
https://twitter.com/umiyuki_ai/status/1641083326940475393
最近だと大きな発表としてはStabilityが出したStableLMなんてのがある。（これから強化学習してStableChatになるらしい）
https://twitter.com/StabilityAI_JP/status/1648881153561235456
挙げていくとキリが無いので詳しくはこちらの記事などを見て欲しい。
さきほど、Ravenの日本語を大増量10%学習させたバージョン（rwkv-4-raven-7B-v10-Eng89%-Jpn10%-Other1%）が登場したので、さっそく触ってみた。
https://twitter.com/Meteor_Eternal/status/1649361381697929217
https://twitter.com/umiyuki_ai/status/1649390678299000832
まどマギで一番可愛いキャラを訊いたら、杏子ちゃんだそうだ。まどマギに炭治郎が出てくるとか言い出したり、ちょっとトンチンカンではあるものの、曲がりなりにも日本語で質問した事を一応理解して答えてくれてるっぽいのはそれだけで結構すごい事である。
そんなわけで、これからまあローカルPCで動作するようなオープンソースLLMを色々試して検証してみたいところだが、漫然と触っても仕方がない。何を目的として検証するのか、最初に目的を考えておく必要があるように思う。
私は去年の年末ごろ、３Dの女の子のAIと会話できるデモを作った。この時はGPT-3.5-DavinciのAPIを叩いていた。DavinciのAPI料金はGPT-4と同じくらい高い。けっこうかかるので、ローカルLLMに置き換えたいな～と当時思っていた。
https://twitter.com/umiyuki_ai/status/1606503342787948544
また、同じ時期にLangChainも流行り始めていた。私はLangChainのエージェント機能に興奮していた。これにより、例えばAIが自分でネット検索してきて最新の情報を取得してくる事が可能になる。
https://twitter.com/umiyuki_ai/status/1607010222731833344
とはいえ、LangChainも基本はDavinciを叩いて使う事を前提としている。LangChainをぶん回すととにかくAPI代がかかる。当時の私はDavinciに代わってエージェントをこなせるようなローカルLLMの登場を切望していた。API代を払いたくないからだ。ちなみに相当賢いLLMじゃなければWeb検索などのツールを使いこなす事はできない。
しかしまあ、今となっては当時とはもうパラダイムが違う。GPT-4やGPT-3.5Turboが出てしまったからだ。GPT-3.5TurboはDavinciと同等の性能で、API代はDavinciの1/10である。よっぽど使いまくらない限りは大したAPI料金はかからない。**別にローカルLLMを待たなくてもこれでよくね？**感はかなりある。