LLMが意外なほど得意なことが二つある。人に何かをすすめること。そして、何をすすめればよいかを知るための問いを立てることだ。この二つは、同じ技能を反対側から見ているにすぎない。それなのに、プロダクトの中ではほとんど使われていない。
今年の感謝祭はアメリカで過ごした。アメリカ先住民の音楽で、まだ聴いたことはないが自分に合いそうなものをLLMにすすめてもらうことにした。そのとき、こう頼んだ。「私が気に入ると確信できるまで、先に質問してほしい」。こちらからは、好きなアーティストを四組挙げた。Sharon Burch、Black Lodge Singers、Primeaux & Mike、Joanne Shenandoah。モデルは、何かをすすめる前に四、五個の質問をした。なぜその人たちに惹かれるのか。どんな場面で聴きたいのか。声が前に出るものがよいのか、器楽寄りがよいのか。地域的な好みはあるのか。どの問いも、直前の答えを踏まえて次に進んでいた。数分後には、モデルはその音楽の一角における私の好みを、これまで答えてきたどのオンボーディング・アンケートよりも深く捉えていた。そして、すすめられたものは実際によかった。
これが同じ技能だと最初に気づいたのは、大規模なエンティティ解決（Entity Resolution）に取り組んでいたときだった。氏名表記や住所表記、翻字の違いによって別人に見えるレコードの中から、本来は同じ人物を指すものを照合する仕事である。能動学習では、モデルが判断に迷っているペアを優先して選び、アノテータにラベルを付けてもらう。これは標準的なやり方だ。教科書的なクエリ戦略には、マージンサンプリング、Query by Committee、Expected Error Reduction などがある。いずれも、その時点の決定境界の近くにあるペアを選ぶ。試しに、このクエリ選択を LLM に置き換えてみた。候補ペアを見せ、どれをアノテータに回すべきかを選ばせる。さらに進めて、問いそのものも LLM に作らせる。自分たちの作業では、ラベルあたりの情報量が、おおよそ一桁増えた。LLM が選んだのは、決定境界上の一点ではなく、ルール全体の曖昧さをほどくペアだった。たとえば、ある文化圏の氏名ではミドルネームの頭文字をどう扱うべきか、といったルールである。同じラベル付け予算で、収束はずっと速くなった。
推薦と問いかけは、同じ技能を反対側から見ている。うまくすすめるには、何を訊くべきかを知っていなければならない。うまく訊くには、ありうる答えの空間と、それぞれの答えが何をすすめるべきかにどう影響するかを見通していなければならない。LLMがこの両方に強いのは、領域と利用者についての生成モデルを同時に持ち、どの問いが自分の不確実性をいちばん減らすかを自然言語で考えられるからだ。古典的な機械学習も、固定された特徴量上の期待情報利得としてなら同じことをする。しかしLLMは、それを領域横断的に、スキーマなしに、もっと開いた形で行う。
このパターンは、プロダクトの中ではほとんど見かけない。推薦は、モデルがまだ構成的推論を得意にしていなかった時代に、埋め込みとベクトルデータベースの問題として定式化され、その形が定石になった。レイテンシとコストについての直感も古い。小さなモデルで五ターンほど問いかけるくらいなら安い。そして能動学習は、産業界ではずっと流行らなかった。利得が地味で、実際に触るまで見えにくいからだ。
LLMについて語られることの多くは、「もっと」を前提にしている。もっと高い自律性。もっと長い思考の連鎖。もっと大きなコンテキスト。だが、その逆の形をした、もっと静かな方向がある。短く、的を絞った往復の中で、モデルの仕事は正しい問いを発し、そのうえで一つだけよい提案をすることだ。技術の準備は、もうできている。追いついていないのは、プロダクトの型である。