第16章パラメータとスケーリング則

LLMの「大規模」を支えるのがパラメータです。この章では、パラメータとは何かを改めて確認し、その数を 増やすとなぜ性能が伸びるのか、そしてその効果に限界はあるのかを見ていきます。第4部の締めくくりとして、 規模と能力の関係を整理し、大規模化をめぐる期待と現実の両面を押さえます。

16.1パラメータとは何か

パラメータとは、モデルが内部に持つ、学習によって調整される数値のことです。第9章で見た重みやバイアスが、 まさにパラメータにあたります。学習とは、これらの数値を、望ましい出力が得られるように少しずつ調整して いく作業でした。つまり、モデルが学んだ知識やパターンは、すべてこのパラメータの値として蓄えられています。

「パラメータ数が多い」とは、この調整可能な数値が非常にたくさんあることを意味します。LLMが数十億から 数千億ものパラメータを持つというのは、それだけ多くの「つまみ」を、学習によって細かく調整している、という ことです。この膨大な数値の集まりの中に、言葉に関するさまざまなパターンが刻み込まれています。モデルの 正体は、突き詰めれば、この大量の数値だといえます。

16.2パラメータ数とモデルの能力

パラメータの数は、モデルがどれだけ複雑なパターンを表せるかに関わります。数が少なければ、単純な関係しか 捉えられません。数が多くなるほど、細やかで複雑な関係まで表せるようになり、言葉の微妙なニュアンスや、 幅広い話題に対応できるようになります。表現できる引き出しの数が増える、とイメージするとよいでしょう。

現在のLLMがさまざまな作業を一つのモデルでこなせるのは、膨大なパラメータによって、複雑な言葉のパターンを 大量に蓄えられているからです。ただし、パラメータを増やすには、それに見合った学習データと計算資源も 必要になります。数値の入れ物だけを大きくしても、そこに詰める学習が伴わなければ、能力は伸びません。 規模の拡大は、パラメータ・データ・計算の三つがそろって初めて効いてきます。

16.3スケーリング則：規模を上げると性能が伸びる

LLMの発展を支えた重要な発見が、スケーリング則です。これは、モデルのパラメータ数、学習データの量、 そして学習に使う計算量を増やしていくと、性能がおおむね規則的に伸びていく、という経験的な傾向を指します。 やみくもに大きくするのではなく、規模を上げれば、それに応じてどれくらい性能が伸びるかが、ある程度 見通せるようになったのです。

この見通しが立ったことの意味は、とても大きいものでした。規模を大きくすればするほど賢くなる見込みが あるなら、思い切って投資する価値があります。開発者たちは、この見通しをもとに、モデルを段階的に大規模化 する方向へ進みました。この積み重ねが、現在のLLMの高い性能につながっています。第7章で見た大規模化の 流れは、このスケーリング則という裏づけに支えられていたのです。

16.4大規模化の効果と限界

規模を大きくすれば性能が伸びるとはいえ、その効果には注意すべき点があります。まず、性能の伸びは、規模を 増やすほど次第にゆるやかになっていきます。倍の規模にしても、性能が倍になるわけではありません。一方で、 規模を大きくするほど、学習に必要な計算資源や費用、時間は急激に増えていきます。得られる伸びは小さく なるのに、かかるコストは大きくなる。この兼ね合いが、大規模化にはつきまといます。

また、規模を大きくしても、これまで見てきたハルシネーションのような性質が完全になくなるわけではありません。 規模の拡大は性能を高める有力な方法ですが、それだけであらゆる課題が解決するわけではないのです。近年は、 規模を追うだけでなく、学習データの質を高めたり、後の章で見る使い方の工夫を組み合わせたりすることが 重視されています。第4部では、LLMのしくみを分解してきました。次の第5部では、こうしたLLMが実際に どのように作られていくのかを見ていきます。