第11章LLMとは何か

ここからの第4部は、本サイトの中心となるLLMのしくみを扱います。まずこの章で、そもそもLLMとは何かを はっきりさせておきます。名前の意味、何が大規模なのか、そして扱えることと扱えないことを整理し、 次章以降でしくみを分解していく準備をします。ここで土台を固めておくと、続く章の理解がなめらかに なります。

11.1LLMとは何か

LLMは、Large Language Model（大規模言語モデル）の略です。ひとことでいえば、非常に多くの文章を学習し、 ある文章の続きとしてどんな言葉が来やすいかを予測できるようにしたモデルです。この予測を使って、質問への 回答、文章の要約、翻訳、下書きの作成など、言葉に関わるさまざまな作業をこなします。

ここまでの章を振り返ると、LLMの位置づけが見えてきます。第2章で見たとおり、LLMはディープラーニングを 使う生成AIの一種であり、第3部で見た機械学習やニューラルネットワークを土台としています。第7章で触れた Transformerを骨格にし、大量の文章から言葉のパターンを学んでいます。つまりLLMは、これまで積み重ねられて きた技術が合流した先にあるもので、魔法ではありません。しくみを一つずつ分解していけば、必ず理解できます。

11.2「言語モデル」という言葉の意味

「言語モデル」という言葉は聞き慣れないかもしれませんが、考え方は素朴です。言語モデルとは、ある言葉の 並びが与えられたときに、その次に来る言葉の来やすさを見積もるしくみです。たとえば「今日はいい」という 並びのあとには、「天気」が続く可能性が高く、「石」が続く可能性は低い、といった具合に見積もります。 この「次の言葉の来やすさ」を大量の文章から学んだものが言語モデルであり、それを非常に大きくしたものが LLMです。

11.3何が「大規模」なのか

LLMの「大規模」とは、おもに二つのものが桁違いに大きいことを意味します。一つは、学習に使う文章の量です。 書籍やウェブ上の文章など、人が一生かかっても読み切れないほど膨大な量のテキストを読み込ませます。 もう一つは、モデルが内部に持つパラメータの数です。第9章で見たとおり、パラメータとは重みやバイアスと いった調整可能な数値のことで、その数が非常に多いほど、複雑なパターンを表せるようになります。

この二つを大きくしていくと、あるところから、以前は難しかった作業も追加の調整なしにこなせるようになる ことが分かってきました。規模の拡大が、単なる量の増加にとどまらず、質的な能力の変化をもたらす。この 不思議な性質が、大規模化を推し進める原動力になりました。なぜ規模を大きくすると賢くなるのかについては、 第16章のスケーリング則で改めて扱います。

11.4LLMが扱えること・扱えないこと

LLMは、質問への回答、要約、翻訳、文章の作成や書き換え、分類など、言葉に関わる作業を幅広くこなせます。 一つのモデルで多様な作業に対応できるのが大きな特徴です。しかし、万能ではありません。第3章でも触れた とおり、答えが常に正確である保証はなく、もっともらしい誤りを生じることがあります。学習した時点より あとの出来事や、学習データにない情報については答えられません。桁の多い計算のように、厳密さが求められる 処理も得意ではありません。

こうした得意・不得意は、いずれもLLMの「次の言葉を予測する」というしくみから生まれます。なぜそうなるのか は、これから続く章でしくみを分解していくと、自然に理解できるようになります。逆にいえば、しくみを 理解すれば、LLMがどんな場面で頼れて、どんな場面で注意が必要かを、自分で判断できるようになります。 次の章では、その第一歩として、LLMが言葉をどのように数値へ変換して扱うのかを見ていきます。