第19章RLHFとアライメント

指示に従えるようになったモデルを、さらに人にとって望ましい応答へと近づける調整があります。それが RLHFとアライメントです。この章では、人間の好みをどう教え、モデルの振る舞いをどう整えるのかを見ていきます。 私たちがLLMに感じる「感じの良さ」や「安全への配慮」の正体が、ここで見えてきます。

19.1人間の好みを教える方法

応答の良し悪しには、はっきりした正解がありません。同じ質問でも、丁寧さや分かりやすさ、安全性など、 さまざまな観点で「より良い」応答が変わります。「これが唯一の正解」と一つに決めることが難しいのです。 そこで、唯一の正解を与える代わりに、モデルが出した複数の応答を人間が見比べて、どちらがより良いかを 示すという方法がとられます。

「AとBなら、Aのほうが良い」という比較は、ゼロから理想の答えを書くよりずっと楽で、判断もぶれにくく なります。こうした比較を大量に集めることで、人間がどのような応答を好むかの傾向を、モデルに伝えて いきます。正解を教えるのではなく、好みを教える、という発想がここでの鍵です。

19.2RLHF：人間のフィードバックによる強化学習

RLHFは「人間のフィードバックによる強化学習」と訳されます。第8章で見た強化学習は、良い結果に報酬を 与えて行動を調整する方法でした。RLHFでは、この報酬の役割を、人間の好みを反映した評価が担います。 人が比較して示した好みをもとに、応答の良し悪しを見積もるしくみを作り、それを手がかりに、より好まれる 応答を出すようモデルを調整していきます。

19.3アライメント：意図と安全に沿わせる

アライメントとは、モデルの振る舞いを人間の意図や価値観に沿わせることを指す言葉です。具体的には、 役に立つ応答を返すこと、有害な内容や危険な助言を避けること、事実に反する断定を控えることなどが 目指されます。RLHFは、このアライメントを実現するための代表的な手段です。指示に従えるだけでなく、 その従い方が人にとって望ましく安全であるように整える、という段階です。

たとえば、危険な行為の手順を尋ねられたときに、指示に忠実に従って答えてしまっては困ります。アライメントを 経たモデルは、こうした要求には応じないように整えられています。指示への従順さと、望ましさ・安全性の バランスをとることが、この段階の狙いです。

19.4調整によって変わる振る舞い

RLHFやアライメントを経ることで、LLMは、より丁寧で分かりやすく、危険な内容を避けた応答を返すように なります。私たちが対話型のLLMに感じる「感じの良さ」や「安全への配慮」は、こうした調整の成果です。 ただし、どのような応答を望ましいとするかは、調整の方針によって変わります。同じ土台のモデルでも、 調整のしかたが違えば、振る舞いは変わってきます。作り手が何を望ましいと考えたかが、モデルの個性に 表れる、ともいえます。

また、こうした調整を重ねても、第3章や第15章で見たハルシネーションのような性質が完全になくなるわけでは ありません。調整はあくまで振る舞いを望ましい方向へ寄せるものであり、正しさを保証するものではないのです。 作られたモデルの良し悪しをどのように測るのかは、次の章で見ていきます。