第14章アテンション機構

Transformerの心臓部にあたるのが、アテンションという仕組みです。この章では、アテンションが「文脈を 捉える」とはどういうことかを、具体例とともに見ていきます。ここが分かると、LLMがなぜ自然な文章を 扱えるのかが、より深く理解できるようになります。

14.1文脈を捉えるとはどういうことか

言葉の意味は、単語だけでは決まらず、周囲の言葉によって変わります。たとえば「それを取って」という文の 「それ」が何を指すかは、前の文脈を見なければ分かりません。また「はし」という言葉は、文脈によって 「橋」にも「箸」にもなります。「川にかかる はし」なら橋、「ごはんと はし」なら箸だと、私たちは周囲の 言葉から自然に判断しています。

人はこうした判断を無意識に行っていますが、これを機械で実現するには、各語の意味を、周囲の語との関係を 踏まえて定める必要があります。単語を単独で見るのではなく、「この文の中でのこの語」として捉え直す、 という作業です。この、文脈に応じて各語の意味を定め直す働きを担うのがアテンションです。

14.2どの単語に注目するかを決めるしくみ

アテンションを直訳すると「注目」です。その名のとおり、ある語の意味を定めるとき、文中のほかのどの語に どれだけ注目すべきかを計算します。関係の深い語には強く注目し、関係の薄い語にはあまり注目しません。 そして、注目の強さに応じて、それぞれの語の情報を取り込み、その語の表現を更新します。こうして各語は、 文脈を反映した意味を帯びるようになります。

14.3セルフアテンションの考え方

Transformerで使われるのは、セルフアテンションと呼ばれるものです。「セルフ（自分自身）」という名の とおり、同じ文章の中の語どうしが互いに注目し合います。文中の一つ一つの語が、その文に含まれるほかの すべての語に対して「どれだけ関係が深いか」を測り、関係の深い語の情報を強く取り込みます。これを文中の すべての語について同時に行うことで、文章全体の文脈が各語に反映されます。

第13章で見た「すべてのトークンを一度に見渡す」という特徴は、このセルフアテンションによって実現されて います。各語が文中のどの語とも直接関係を測れるからこそ、離れた場所にある語どうしのつながりも捉えられる のです。しかも、これを文全体で一気に計算できるため、効率もよいという利点があります。

14.4アテンションがもたらした性能向上

アテンションの導入は、言葉を扱うAIの性能を大きく引き上げました。離れた語どうしの関係を的確に捉えられる ようになったことで、長い文章でも意味を保ったまま処理できるようになりました。代名詞が何を指すか、 ある語がどの語を修飾するか、といった関係を、文全体を見渡して判断できるようになったのです。

さらに、すべての語の関係をまとめて計算できるため、大量の文章を効率よく学習できます。この効率のよさが、 モデルの大規模化を可能にし、現在のLLMの高い性能を支えています。ここまでで、LLMが文脈を捉えるしくみが 見えてきました。では、こうして文脈を反映した表現をもとに、LLMが最終的に何をしているのかを、次の章で 見ていきます。それが、「次の言葉を予測する」という中心的な働きです。