第17章事前学習

ここからの第5部では、LLMがどのように作られていくのかを追います。完成までにはいくつかの段階があり、 最初の土台となるのが事前学習です。この章では、事前学習で何をしているのか、そこで何が身につくのかを 見ていきます。第4部で見た「次の単語を予測する」というしくみが、どうやって身につくのかが分かります。

17.1膨大なテキストを読ませる

LLMを作る最初の段階が事前学習です。ここでは、書籍やウェブ上の文章など、非常に大量のテキストをモデルに 読み込ませます。特定の用途に絞るのではなく、幅広い分野の文章を大量に学ばせることで、言葉の一般的な 使い方や、世の中の一般的な知識を広く身につけさせます。人が一生かけても読み切れない量の文章を、 この段階で読み込ませるのです。

第4部で見たトークン化・埋め込み・アテンションといったしくみが実際に動くのも、この段階で大量の文章から 学んだ結果です。事前学習には、大きな計算資源と時間、費用がかかります。第10章で見たとおり、学習は 推論よりもはるかに重い処理であり、大規模なLLMの事前学習は、その中でもとりわけ大がかりなものになります。

17.2次の単語を当てる訓練

事前学習では、人が一つ一つ正解を用意するわけではありません。代わりに、用意した文章そのものを正解として 使います。具体的には、ある文章の途中まで見せて、その次に来る言葉を当てさせます。当てた結果と実際の 続きを比べ、ずれが小さくなるように重みを調整する。第10章で見た学習の手順を、膨大な文章で繰り返すのです。

第15章で見た「次のトークンを予測する」というLLMの働きは、まさにこの事前学習を通じて身につきます。 次の言葉を当てる訓練をひたすら繰り返すうちに、モデルは言葉のつながり方のパターンを深く学んでいきます。

17.3事前学習で身につくもの

次の言葉を当てる訓練をひたすら繰り返すだけで、モデルは驚くほど幅広いものを身につけます。自然な文法や 言い回し、よく使われる表現、さまざまな分野の一般的な知識、話題どうしのつながりなどです。たった一つの単純な訓練から、こんなにも多くのものが身につくのには、理由があります。次の言葉を正しく当てるには、結局これらの知識が必要になるからです。

たとえば「日本の首都は」の続きを当てるには、地理の知識が要ります。「彼はうれしくて____」の続きを 当てるには、感情と行動のつながりの理解が要ります。次の言葉を精度よく当てようとすると、結果として こうした知識が自然に学ばれていくのです。事前学習を終えたモデルは、言葉に関する豊かな土台を持った 状態になります。

17.4学習データの量と質

事前学習では大量のデータが必要ですが、量だけがすべてではありません。データの質も、モデルの性質を 大きく左右します。学習に使う文章に偏りや誤り、不適切な内容が含まれていれば、モデルはそれらもパターンと して学んでしまいます。第9部で扱うバイアスの問題も、多くはこの学習データに由来します。良い土台を作るには、 良い材料が要る、というわけです。

事前学習を終えた段階のモデルは、言葉の土台は持っているものの、そのままでは使いにくい面があります。 次の章では、この土台を実際に役立つ形へ整える、ファインチューニングと指示チューニングを見ていきます。