第7章Transformerと大規模言語モデルの時代

ディープラーニングの成功は、やがて言葉の扱いにも及びます。2017年に登場したある構造が転機となり、 そこから大規模言語モデルの時代が始まりました。この章では、その転換点から、対話型AIが多くの人に 使われるようになった現在までの流れを見ていきます。第4部で扱うLLMのしくみへの、橋渡しにもなります。

7.12017年・Transformerの登場

言葉を扱うAIには、二つの難しさがありました。一つは、長い文章の中で離れた語どうしの関係を捉えること。 もう一つは、大量の文章を効率よく学習することです。それ以前の方法は、文章を前から順に一語ずつ読み込んで いたため、長い文章では前のほうの情報が薄れやすく、また順番に処理する必要から学習にも時間がかかって いました。2017年に発表されたTransformerという構造は、これらの課題を解決し、文章全体を一度に見渡しながら、 どの語とどの語が関係しているかを捉えられるようにしました。

その詳しいしくみは第4部でていねいに扱いますが、ここでは「現在のLLMは、このTransformerを土台にしている」 という一点を押さえておいてください。画像認識でディープラーニングが果たしたのと同じ役割を、言葉の世界で 果たしたのがTransformerだ、と捉えると、歴史の流れの中での位置づけが見えてきます。

7.2事前学習という考え方の普及

Transformerの登場とあわせて広がったのが、事前学習という考え方です。まず、膨大な量の文章を読ませて、 言葉のつながり方や一般的な知識を広く学ばせておきます。この段階で作られたモデルは、翻訳・要約・質問への 回答など、さまざまな用途に応用できます。用途ごとにゼロから作るのではなく、一度作った土台を使い回せる ため、効率よく高い性能を得られるようになりました。

この考え方は、それまでの「一つの用途のために、一つのモデルを一から作る」というやり方を大きく変えました。 まず幅広く学んだ土台を用意し、あとから用途に合わせて仕上げる。この二段構えが、開発の効率と性能を 同時に押し上げました。事前学習のしくみは、第5部でくわしく見ていきます。

7.3GPTシリーズと大規模化

事前学習の考え方にもとづくモデルの一つがGPTシリーズです。これらの開発を通じて、モデルの規模（パラメータ の数）と学習に使う文章の量を大きくするほど、性能が着実に伸びることが分かってきました。そこで、規模を 段階的に拡大する取り組みが進み、こうして大きくなった言語モデルが「大規模言語モデル（LLM）」と呼ばれる ようになります。規模の拡大にともなって、以前は難しかった作業も、追加の調整なしにこなせる場面が増えて いきました。

7.4対話型AIの一般への普及

高い性能を持つLLMも、専門家しか扱えなければ、これほど広まることはなかったでしょう。転機となったのは、 チャットのように文章で指示を与えれば応答が返ってくる、対話型の使い方が整えられたことです。特別な知識が なくても、日常の言葉で質問したり依頼したりできるようになり、多くの人が実際にAIに触れるようになりました。 技術そのものの進歩に加えて、「誰でも使える形」に整えられたことが、急速な普及を生んだのです。

こうしてAIは、研究や一部の業務の中だけの存在から、誰もが日々使える道具へと変わりました。第2部でたどって きたとおり、その裏側には七十年ほどの試行錯誤があります。推論と探索、知識のルール化、そして機械学習と ディープラーニング。行き詰まりと、それを乗り越える新しい発想の積み重ねが、いまのLLMを支えています。 次の第3部では、このLLMを支える機械学習やニューラルネットワークのしくみを、順に見ていきます。

ここで振り返っておきたいのは、普及を決めたのが技術の性能だけではない、という点です。どれほど優れた 道具でも、扱いが難しければ広まりません。日常の言葉で指示できるという入口の易しさが整って初めて、 多くの人の手に届きました。技術の中身と、それを届ける形の工夫は、両輪だったといえます。この視点は、 第9部で扱う実務での活用を考えるときにも生きてきます。