第3部 AIを支える技術の基礎
第8章機械学習とは
ここからの第3部では、LLMを支える土台の技術を見ていきます。まずこの章では、現在のAIの中心にある 機械学習について、その考え方と代表的な三つの学習方法を整理します。LLMがどのように「学ぶ」のかを 理解するための準備になります。細かな数式には立ち入らず、考え方をつかむことを目指します。
8.1ルールを書く代わりにデータから学ぶ
機械学習とは、人が判断の手順を書き下すのではなく、大量のデータからパターンをコンピュータ自身に見つけさせる方法です。目標は、見たことのない入力にも通用する規則を身につけさせることにあります。
機械学習の基本は、「答えの出し方を人が教える」のではなく、「たくさんの例から答えの出し方を学ばせる」 ことにあります。たとえば、手書きの数字を読み取らせたいとき、線の形をルールで細かく定義するのは大変です。 人によって字の癖はさまざまで、すべての書き方を条件として書き出すことはできません。そこで、数字の画像と その正解を大量に見せて、両者の対応関係を学ばせます。すると、明示的にルールを書かなくても、新しい画像の 数字を判別できるようになります。
ここで大切なのは、機械学習の目標が「覚えること」ではなく「通用する規則を身につけること」だという点です。 学習に使った例だけを丸暗記しても、意味がありません。見たことのない新しい入力に対しても、うまく答えられて はじめて役に立ちます。この、未知の入力にも通用する力を、機械学習では重視します。学んだ例にはよく当たるのに 新しい入力には外す、という状態は、後で見るように避けたい失敗の一つです。
この「学ぶ」という言葉には、次の章以降で見る具体的な計算が伴います。ここではまず、機械学習が扱う課題の 種類を、与えるデータの形によって三つに分けて押さえておきます。教師あり学習、教師なし学習、強化学習の 三つです。
8.2教師あり学習
教師あり学習は、入力と正解がセットになったデータを使い、入力から正解を予測できるように学ぶ方法です。分類や数値の予測に広く使われ、実務でもっとも活躍します。
教師あり学習では、問題と答えがそろったデータを大量に用意します。たとえば「この写真は猫」「このメールは 迷惑メール」といったように、各データに正解（ラベル）がついています。「教師」という名は、この正解が お手本の役割を果たすことから来ています。モデルはこの対応を手がかりに、入力から正解を当てる力を身に つけていきます。学習が済めば、正解の分からない新しい入力に対しても、予測を返せるようになります。
教師あり学習は、大きく二つの用途に分かれます。一つは分類で、入力がどの種類に当てはまるかを当てます。 迷惑メールかどうか、写真が犬か猫か、といった問題です。もう一つは回帰と呼ばれるもので、数値を予測します。 来月の売上や、住宅の価格を見積もる、といった問題です。どちらも、正解つきのデータから学ぶという点は 同じです。実務でAIといえば、この教師あり学習を指すことが多いほど、広く使われています。
具体例：教師あり学習の流れ
迷惑メールの判定を例にとると、流れは次のようになります。
1.大量のメールに「迷惑／通常」の正解を付けて用意する
2.モデルに見せ、どんな特徴が迷惑メールに多いかを学ばせる
3.学習後、正解のない新しいメールを入力する
4.モデルが「迷惑である可能性が高い」などと判定する
正解つきのデータを用意する手間はかかりますが、いったん学べば、新しい入力を次々にさばけるように なります。
8.3教師なし学習
教師なし学習は、正解のついていないデータの中から、隠れた構造やまとまりをコンピュータ自身に見つけさせる方法です。あらかじめ答えを用意できない場面で役立ちます。
教師なし学習では、正解のラベルがないデータだけを与えます。モデルは、データの中に潜む共通点や違いを 手がかりに、似たものどうしをまとめたり、データの特徴を整理したりします。たとえば、大量の顧客データから 似た傾向を持つグループを自動的に見つけ出す、といった使い方です。人があらかじめ「こういうグループがある」 と決めておくのではなく、データそのものにまとまりを語らせる、というイメージです。
教師なし学習は、あらかじめ答えを用意できない場面や、データの全体像をつかみたい場面で役立ちます。 なお、第12章で見る、言葉を意味の近さでベクトルにする埋め込みも、正解ラベルに頼らずデータの中の 関係を学ぶという点で、教師なし学習に近い考え方を含んでいます。正解がなくても学べる、という発想は、 LLMの土台にも関わっています。
8.4強化学習
強化学習は、試行錯誤を繰り返し、良い結果には報酬を与えることで、より良い行動を学ばせる方法です。LLMを人間の好みに沿わせる段階でも、この考え方が使われます。
強化学習では、正解を直接教える代わりに、行動の結果に対して「良い・悪い」を報酬という形で返します。 モデルは、報酬がより多く得られるように、行動のしかたを少しずつ調整していきます。一手ごとに正解が 与えられるわけではなく、うまくいったかどうかの結果だけが返る、という点が、教師あり学習との大きな 違いです。ゲームで高い点を取る、ロボットをうまく動かす、といった課題で使われてきました。
身近なたとえ
自転車の練習に似ています。転ばずに進めたらうまくいった、転んだら失敗、という結果を手がかりに、 体の使い方を少しずつ調整していきます。誰かに正解の動きを一つずつ教わるのではなく、結果から学ぶのが 強化学習の特徴です。
この強化学習の考え方は、LLMの開発にも登場します。第19章で扱うRLHFは、人間が示した好みを報酬の ように使い、より好まれる応答を出すようモデルを調整する方法で、強化学習の応用にあたります。ゲームの ためだけの技術ではなく、いまのLLMの振る舞いを整えるうえでも役立っている、というわけです。
8.5三つの学習方法の使いどころ
三つの方法は優劣ではなく、扱う課題やデータの形によって使い分けます。実際のシステムでは、複数を段階的に組み合わせて使うことも珍しくありません。
どの学習方法を使うかは、手元にあるデータと、解きたい課題によって決まります。正解つきのデータがそろって いて、予測や分類をしたいなら教師あり学習が向きます。正解はないがデータの構造を知りたいなら教師なし学習、 試行錯誤の中で良い振る舞いを身につけさせたいなら強化学習が適します。どれか一つが常に優れているわけでは なく、目的に合ったものを選ぶことが大切です。
実際のAIでは、これらを段階的に組み合わせることも珍しくありません。LLMがその好例です。まず大量の文章から 教師なしに近い形で言葉のパターンを学び（第17章）、次に正解つきの例で指示への従い方を学び（第18章）、 最後に人間の好みを報酬として振る舞いを整える（第19章）。三つの学習方法が、順に役割を果たしているのです。 この全体像を知っておくと、後の第5部が理解しやすくなります。
深掘り：過学習と汎化（読み飛ばし可）
機械学習でつまずきやすいのが、過学習と呼ばれる状態です。これは、学習に使った例に合わせすぎて、 その例だけには非常によく当たるのに、新しい入力にはうまく対応できなくなる現象です。試験勉強で、 過去問の答えを丸暗記したせいで、少し形を変えられると解けなくなるのに似ています。反対に、未知の 入力にもうまく通用する力を、汎化といいます。機械学習の目標は、暗記ではなく汎化です。学習の際は、 学習に使わないデータで性能を確かめ、過学習に陥っていないかを点検します。この考え方は、第20章で見る モデルの評価にもつながります。
この章の要点
- 機械学習は、ルールを書く代わりにデータから学ばせる方法で、目標は未知の入力にも通用する規則を身につけることです。
- 教師あり学習は、入力と正解の組から予測を学びます。分類と回帰があり、実務で広く使われます。
- 教師なし学習は、正解のないデータから構造やまとまりを見つけます。埋め込みにも近い考え方です。
- 強化学習は、試行錯誤と報酬を通じて良い行動を学び、LLMのRLHFにも応用されています。
- 三つは課題やデータに応じて使い分け、LLMのように段階的に組み合わせることもあります。