第20章モデルの評価

モデルが作られたあとには、その良し悪しをどう判断するかという問題が残ります。この章では、LLMの性能を どう測るか、その方法にどんな限界があるかを整理します。評価の考え方を知っておくと、モデルの比較や選定を 落ち着いて行えるようになります。数値の見かけに振り回されないための、いわば読み方の作法です。

20.1性能の測り方

LLMの性能を測るには、いくつかの方法があります。代表的なのは、あらかじめ用意した問題集を解かせて、 どれだけ正しく答えられるかを見る方法です。知識を問う問題、文章を読み取る問題、計算や推論を要する問題 など、さまざまな種類の問題が使われます。正答率という分かりやすい数字が出るため、比較によく使われます。

ただし、LLMの応答には正解が一つに定まらないものも多いため、正答率だけでは測りきれない面があります。 文章の要約や、丁寧な言い換えのように、良い答えが何通りもある作業では、正解と一字一句合っているかで 測るのは適しません。そこで、応答の質を人が評価する方法も組み合わせて用いられます。測りたいものに 応じて、方法を使い分けるわけです。

20.2ベンチマークとその限界

さまざまなモデルを同じ基準で比べるために、共通の問題集が用意されています。これをベンチマークと呼びます。 ベンチマークの成績を見れば、モデルどうしをある程度公平に比較できます。新しいモデルが登場したときに 「このベンチマークで高い成績を出した」と紹介されるのを見かけるのは、このためです。

しかし、注意すべき点もあります。ベンチマークで高い成績を出すことと、実際の業務で役に立つことは、 必ずしも一致しません。問題集に含まれる課題が、自分の使いたい場面と合っているとは限らないからです。 試験の点数が高い人が、実務でも必ず優秀とは限らないのと似ています。ベンチマークの数値は有用な手がかり ですが、それだけを見て判断するのではなく、あくまで一つの目安として捉えることが大切です。

20.3人間による評価

正答率だけでは測れない応答の質を確かめるには、人による評価が欠かせません。実際の応答を人が読み、 分かりやすさ、指示への沿い方、丁寧さ、安全性といった観点で良し悪しを判断します。数値では捉えにくい こうした側面を評価できるのが、人による評価の強みです。第19章で見たRLHFも、この人間の評価を土台に しています。

一方で、人による評価は手間がかかり、評価する人によって判断が揺れることもあります。何を「良い」とするかは 人それぞれで、評価の基準をそろえること自体が難しいのです。そのため、複数の人で評価したり、基準を あらかじめ決めたりといった工夫が行われます。手間はかかりますが、実際の使い心地に近い評価が得られる点で、 欠かせない方法です。

20.4評価結果の読み方

評価結果を見るときに大切なのは、一つの数値だけで優劣を決めつけないことです。ベンチマークの成績、 人による評価、実際に試したときの手応えなど、複数の情報を合わせて見るべきです。そして最終的には、 「自分が使いたい場面で役に立つか」という視点が何より重要になります。ある用途で優れたモデルが、別の 用途でも最適とは限りません。

第5部では、LLMが事前学習から調整、評価を経て作られていく流れを見てきました。ここからの第6部では、 こうして作られたLLMを、実際にどう使いこなすかに話を移します。まずはプロンプトの基礎からです。