生成しないAI ― 現代に蘇るマッチ箱の知能
「AI」と聞くと、多くの人は文章や画像の生成を思い浮かべます。私も以前はそうでした。けれど、私たちが作っている会話の仕組みの多くは、実行するときに文章を生成していません。
ポイントは一つです。AIで設計して、計算で動かす。 言葉を事前にベクトル化しておけば、利用者が何人に増えても、コストはほとんど増えません。
マッチ箱の学習機械
1960年、ドナルド・ミッキーは約300個のマッチ箱と色付きのビーズで、三目並べを学習する機械「MENACE」を作りました。
箱の一つひとつが盤面、ビーズの色が次の一手です。勝てばその手のビーズを足し、負ければ減らします。強化学習の先駆けと言われる仕組みです。
この機械は、対局中に何も考えていません。賢さの正体は、実行時の計算ではなく、箱の中にたまった経験です。
ゲームとGoogleも同じ形
RPGやアドベンチャーゲームのセリフは、前もって書かれています。Googleも、ウェブをまとめて集めて索引を作っておき、検索の瞬間には索引を引くだけです。
逆に、返事のたびに大規模言語モデル(LLM)のAPIを呼ぶのは、その場で作家にセリフを書かせるようなものです。遅く、高く、答えも揃いません。
なぜ今まで、この形にならなかったのか
壁は2つありました。
- セリフを書くのが大変だった。 この手法を実現するにはシナリオライターが膨大なセリフを書くことになります。しかし現在ならばLLMが、数百のセリフを安く、揃った調子で作ってくれます
- 言い換えに弱かった。 キーワードの一致で見る方法では、同じ意味の別の言い方はマッチしません(『赤』と『レッド』など)。埋め込み(エンベディング)を使うと、意味の近い言葉が近くに並ぶので、いちばん近いセリフを引けば済みます
埋め込みは「凍った知識の地図」
埋め込みには、LLMが学習した世の中の知識が、座標として焼き込まれています。メートル原器のように、すべてのセリフと質問を同じ物差しで測れるのです。しかも小さく、安く、クラウドに頼らずとも手元のPCでも動かすことができます。
LLMは「事前焼き込み」と「物差し」に
LLMを使わずに会話できるようになったのは、LLMの時代の道具――生成と埋め込み――のおかげです。どちらも価値は「前もって計算しておけること」にあります。
- AIは、生成だけではない
- 賢さは、前もって焼き込める
- LLMは事前の焼き込み(作る)と物差し(測る)に使えば、実行時のコストはほぼゼロにできる
この考え方で作った会話エンジン MxChatterFox は、オープンソースとして公開しています。
また、同じ考えを MIKO などにも応用しています。