第24章ハルシネーションと限界

LLMを安全に使ううえで、避けて通れないのがハルシネーションという性質です。この章では、なぜもっともらしい 誤りが生まれるのか、その背景にある制約を整理し、限界を前提とした使い方を考えます。第6部の締めくくりとして、 LLMとの現実的な付き合い方をまとめます。

24.1ハルシネーションとは

ハルシネーションとは、LLMが事実に反する内容を、あたかも正しいかのように生成してしまう現象を指します。 存在しない出来事を述べたり、誤った数値を自信ありげに答えたりします。やっかいなのは、その誤りが自然で 説得力のある文章に紛れて出てくることです。第3章でも触れたとおり、見た目のもっともらしさと、内容の 正しさは、必ずしも一致しません。

24.2もっともらしい誤りが生まれるしくみ

ハルシネーションが起きる理由は、これまで見てきたLLMのしくみから理解できます。第15章で述べたとおり、 LLMは意味や事実を確かめて答えているのではなく、これまでの文章に続くもっともらしい言葉を予測して います。学習した文章の中に、その問いに対する正しい情報が十分になければ、モデルは「それらしく見える」 続きを組み立ててしまいます。その結果が、事実と異なるもっともらしい文章、すなわちハルシネーションです。

24.3知識の鮮度と学習時点の制約

もう一つ押さえておきたいのが、知識の鮮度の問題です。多くのLLMは、学習を終えた時点までの情報で動いて います。そのため、学習後に起きた出来事や、新しく現れた情報については知りません。にもかかわらず、 問われれば何らかの答えを返そうとするため、古い情報にもとづく誤りや、推測による誤りが生じます。

最新の情報や、その時々で変わる事実を扱いたい場合は、この制約を補う工夫が必要になります。その代表的な 方法が、第8部で扱うRAGです。外部から最新の情報を検索して渡すことで、モデルが学習していない事柄にも、 根拠にもとづいて答えられるようになります。LLM単体の知識には期限がある、と捉えておくとよいでしょう。

24.4誤りを前提とした使い方

ハルシネーションを完全になくすことは、現状では難しいとされています。そこで大切なのは、「LLMは誤ることが ある」という前提に立って使うことです。具体的には、重要な判断に関わる内容は人が確認する、事実は別の 確かな情報源で裏を取る、誤ってはいけない場面ではそのまま使わない、といった姿勢です。第3章で見た 役割分担のとおり、最終的な確認と判断は人が担うのが基本です。

こうした限界を知ることは、LLMを避ける理由ではなく、うまく使いこなすための土台です。得意なことは活かし、 苦手なことは補う。この現実的な姿勢が、LLMを役立てる鍵になります。次の第7部からは、こうしたLLMを 実際にアプリケーションへ組み込んで使う、開発の視点に話を移します。