この前、AnthropicからClaude3がリリースされた。課金すると最上位のOpusが使える。
twitterではOpusの性能がすごい！って盛り上がってた。こういう盛り上がり方をしたのはGPT-4が出た時以来じゃないかな。Gemini Advancedが出た時も特にすごい！みたいなツイートはあんま見かけなかった。
https://twitter.com/umiyuki_ai/status/1765559274351329473
https://twitter.com/umiyuki_ai/status/1765597401644159228
https://twitter.com/umiyuki_ai/status/1769268981167231051
claude3を使ってみたら、ライティングの仕事が無くなるかもしれない瞬間を目の当たりして、衝撃を受けた件｜池田 亮平
https://twitter.com/umiyuki_ai/status/1766282600325541997
https://twitter.com/umiyuki_ai/status/1768968024147808403
https://twitter.com/kuronagirai/status/1768094699133579359
https://twitter.com/fladdict/status/1765649502256746748
こういう盛り上がりをしてるという事は本当にGPT-4を超えるAIなのかもしれないと思った。
Opusが印象的だったのは架空のなんJスレとか書ける事だ。
https://twitter.com/_saip_/status/1765735853408800790
面白そうだったのでClaude Proに課金する事にした。月額20ドル。流石にChatGPTのサブスクと両方維持はキツいので、ChatGPTの方は解約する事にした。軽く触った感じでは、OpusはなんJスレ書かせる以外では言うほどChatGPTより凄いって感じでもないかなと思った。とは言え少なくとも同等の性能のようだとは感じた。
ところでChatGPTを解約しようとすると、結構色々な機能でロックインを仕掛けられてる事に気付く。Claudeに移行すると、コードインタープリタも使えなくなるし、GPTsも使えなくなる。メモリ機能も無くなる。ちなみに自分が作ったGPTsは解約したらどうなるのか？というと、自分ではアクセスできなくなるが、消えるわけでは無いらしい。
その点、例えばPoeからなら色んなAIモデル相手にチャットできる。GPT-4もClaudeも両方使える。GPTsみたいにチャットボットを自作、公開する事も可能。Claude3に移行したいけどサブスク申し込んでChatGPTの方は解約して…なんてイチイチ面倒な移行をする必要もないし、ロックイン問題も考えなくて済む。OpenAI一強時代から群雄割拠時代に移行すると、Poeのようなサービスが有力な選択肢になるかもしれない。
コードインタープリタについてはまあLangChainに実装されてるCode Interpreter APIで代用するという選択肢もあるようだ。
で、今回の記事ではChatGPTとClaude3で色々出力を比較してみようと思う。というのも、ChatGPTのサブスクが今日で終わってしまうから、ChatGPTとClaude3が両方使えるのは今日までだからだ。
ところで、ChatGPTは日本語と英語で性能に差があるという事は広く知られている。その差はGPT3.5で顕著だったが、GPT4では大分差がなくなってきたものの、依然として差はある。だからちょっとした事なら日本語で訊いた方が手っ取り早いけど、性能を引き出したい局面では英語で訊くというようなノウハウがあった。
たとえば、GPT4やOpusに日本語でぼざろについて質問してみよう
なんと、GPT4はぼざろを知らないらしい。全部デタラメだ。これにはガッカリさせられる。まどマギとぼざろ知らないAIとやっていける気せーへん。一方で、Claude3はバッチリぼざろを知ってる。