第15章「次の単語」を予測するとは

LLMは複雑なしくみを持っていますが、最終的に行っていることは意外と単純です。それは「次の言葉を予測する」 ことの繰り返しです。この章では、その予測がどのように行われ、なぜその積み重ねで長い文章が生み出されるのかを 見ていきます。LLMの性質を理解するうえで、もっとも大切な章の一つです。ここを押さえると、後の章で扱う ハルシネーションや温度の話も、すっきりと理解できます。

15.1LLMがしているのは次のトークンの予測

さまざまな作業をこなすLLMですが、その内部で行っている中心的な計算は一つです。それは、これまでの文章 （入力と、それまでに生成した部分）を受け取り、その続きとして次に来るトークンを予測することです。 質問への回答も、要約も、翻訳も、突き詰めれば「もっともふさわしい続きの言葉を選ぶ」ことの積み重ねと して行われています。

これは、少し意外に感じるかもしれません。要約と翻訳では、まるで違うことをしているように見えるからです。 しかしLLMから見れば、どちらも「与えられた文章に続く、もっともふさわしい言葉を出す」という同じ作業です。 「次の文章を要約すると：」に続く言葉を出せば要約になり、「英語に訳すと：」に続く言葉を出せば翻訳に なります。複雑に見える出力も、この単純な予測を何度も繰り返した結果なのです。

15.2確率分布から一語を選ぶ

次のトークンを予測するとき、LLMは一つの答えを決め打ちするわけではありません。実際には、あり得る多くの トークンそれぞれに対して、「どれくらい来やすいか」という確率を割り当てます。そして、その確率にもとづいて、 実際に出力する一トークンを選びます。確率の高いものが選ばれやすい一方、必ずしも最上位が選ばれるとは 限りません。

この「確率にもとづいて選ぶ」というしくみは、LLMの重要な性質を生みます。毎回もっとも確率の高い語だけを 選べば、出力は安定しますが、単調になりがちです。少し確率の低い語も混ぜれば、出力は多様になりますが、 ばらつきも出ます。このバランスを調整するのが、第23章で扱う「温度」という設定です。同じ質問をしても 毎回まったく同じ答えが返るとは限らないのは、この選び方に幅があるからです。

15.3文章が生成されていく流れ

文章の生成は、次の手順の繰り返しで進みます。まず、これまでの文章から次の一トークンを予測して選びます。 次に、選んだトークンを文章の末尾に付け加えます。そして、少し長くなった文章を改めて入力として、また次の 一トークンを予測します。これを繰り返すことで、文章は一トークンずつ伸びていきます。区切りのよいところ まで生成すると、出力が終わります。

ここで注目したいのは、LLMは自分が出した語を、次の予測の手がかりとして使う点です。一度「天気」と出力 すれば、その先は「天気」に続く自然な言葉が選ばれていきます。前に出した語が、後の語を導いていく。この 積み重ねが、一貫した文章を生み出すしくみです。

15.4予測の積み重ねが文章になるしくみ

一回一回の予測は「次の一語を選ぶ」という単純な作業です。しかし、そのたびに、それまでの文章全体を文脈と して踏まえているため、選ばれる語は自然に前後とつながります。これを積み重ねると、全体として筋の通った 文章ができあがります。複雑な内容の回答も、根本はこの一語ずつの予測の連なりです。

ここで押さえておきたいのは、LLMは意味を理解して答えを組み立てているわけではなく、あくまで「もっとも ふさわしい続きの語」を確率的に選び続けている、という点です。第3章で触れた「もっともらしく間違える」 という性質も、ここから生まれます。もっともらしい続きが、必ずしも事実として正しいとは限らないからです。 意味の正しさではなく、続きとしての自然さを追い求めるしくみだ、と捉えておくと、LLMの出力とどう向き合えば よいかが見えてきます。この性質は、第24章のハルシネーションで改めて掘り下げます。