第18章ファインチューニングと指示チューニング

事前学習を終えたモデルは、言葉の土台は持っていますが、そのままでは使いにくい面があります。この章では、 その土台を実際の用途に役立つ形へ整える、ファインチューニングと指示チューニングを見ていきます。 私たちが日常の言葉で指示できるのは、この段階のおかげです。

18.1事前学習だけでは使いにくい理由

事前学習を終えたモデルは、次に来る言葉をうまく予測できます。しかし、これは「もっともらしい続きを作る」 ことに長けているだけで、こちらの意図どおりに応答してくれるとは限りません。たとえば「日本の首都について 教えて」と入力しても、答えを返すのではなく、「教えてほしいことがある」といった、質問文の続きになりそうな 文章を生成してしまうことがあります。

これは、事前学習が「文章の続きを作る」訓練だったことの、自然な結果です。膨大な文章には、質問のあとに 答えが続くものもあれば、質問が並んでいるだけのものもあります。事前学習だけのモデルは、いわば知識は 豊富でも、「指示には答えで応じる」という振る舞いをまだ知らない状態なのです。ここに、追加の調整が 必要になります。

18.2ファインチューニング：用途に合わせて調整する

ファインチューニングは、事前学習で作った土台を活かしつつ、特定の目的に合わせて追加で学習させる方法です。 ゼロから作り直すのではなく、すでに言葉の土台を持ったモデルに、目的に沿ったデータを追加で学ばせます。 これにより、少ないデータと計算でも、その用途に適したモデルに仕上げられます。第10章で見たとおり、 一から学習させるのは非常に重いので、既存の土台を活かせるこの方法は、現実的で効率的です。

18.3指示チューニング：指示に従えるようにする

指示チューニングは、ファインチューニングの一種で、とくに「指示に従う」力を身につけさせるものです。 「要約してください」「翻訳してください」といった多様な指示と、それに対する適切な応答の例を大量に 学ばせます。これによって、モデルは初めて見る指示に対しても、その意図をくんで応答できるようになります。

18.4ベースモデルとチューニング済みモデル

事前学習だけを終えた段階のモデルは、ベースモデルと呼ばれます。豊富な知識の土台を持ちますが、指示への 応じ方は整っていません。これに対して、ファインチューニングや指示チューニングを経たものが、チューニング 済みのモデルです。私たちが対話型のサービスとして使うLLMは、こうした調整を経て、指示に沿って応答できる ように整えられたものがほとんどです。

もっとも、指示に従えるようになっても、その応答が人にとって望ましく安全なものであるとは限りません。 次の章では、応答を人間の好みや意図に沿わせる、もう一段の調整であるRLHFとアライメントを見ていきます。