Transformer

概要

Transformerは、2017年の論文「Attention Is All You Need」で提案されたニューラルネットワークの構造（アーキテクチャ）です。文章のような「並び順に意味があるデータ（系列データ）」を扱うためのモデルで、その中核にあるのが「自己注意機構（self-attention）」— 系列の中の各要素が、他のすべての要素との関連の強さを自分で計算する仕組みです。

登場からわずか数年で、機械翻訳・文章生成・画像認識・音声処理と、AIのほぼ全分野の標準構造になりました。大規模言語モデルのGPTやClaudeはもちろん、画像生成モデルの多くもTransformerを土台にしています。「現代AIの語彙はほぼすべてこの一枚の設計図の上にある」と言ってよいほどの、分水嶺となった発明です。

名前の由来は、入力の系列を別の系列へ「変換（transform）」するモデルであることから来ています。当初は機械翻訳（英語の系列→日本語の系列）のために設計されましたが、その仕組みが言語に限らない汎用性を持っていたことが、後の爆発的な普及につながりました。

なぜ生まれたか

Transformer以前、文章を扱うモデルの主役はRNN（再帰型ニューラルネットワーク）とその改良版のLSTMでした。これらは文章を「先頭から1語ずつ順番に」読み、それまでの内容を内部状態という一つの記憶に圧縮しながら進む方式です。この設計には二つの根深い問題がありました。第一に、長距離の依存関係に弱いこと。「文頭の主語」と「文末の動詞」の関係を捉えるには、間のすべての語を通り抜けて記憶を持ち越す必要があり、距離が離れるほど情報が薄れてしまいます。第二に、並列化できないこと。3語目の処理は2語目の結果を待たなければ始められないため、GPUが得意とする「大量の計算を同時に走らせる」力を活かせず、学習に途方もない時間がかかりました。

Transformerはこの二つを同時に解決しました。逐次処理を完全に捨て、「各語が他のすべての語を直接見に行く」自己注意機構だけで文脈を捉えることにしたのです。どの語のペアも距離に関係なく1ステップで結びつき、しかも全語の計算を同時に実行できます。論文タイトルの「Attention Is All You Need（注意機構さえあればよい）」は、当時RNNの補助として使われていた注意機構を主役に据え、RNNそのものを不要にした、という宣言でした。

詳細

自己注意の直観 — 各語が全体を見渡して自分を更新する

自己注意機構の直観はこうです。文中の各トークン（語をさらに細かく分割した処理単位）は、まず埋め込みとして意味を表す数値ベクトルに変換されます。そのうえで各トークンは「自分の意味を確定させるために、文中の他のどのトークンに注目すべきか」を、全トークンとの関連度スコアとして計算します。たとえば「銀行の口座を開いた。それは便利だった」という文の「それ」は、「口座」との関連度が高く計算され、「口座」の情報を強く取り込んで自分の表現を更新します。曖昧だった「それ」が、文脈を反映した具体的な意味を持つベクトルに変わるわけです。

この「全員が全員を見て、関連度の重みで情報を混ぜ合わせる」操作を、Transformerは多頭注意（multi-head attention）として複数パターン並行に走らせます。あるヘッドは文法的な係り受けに、別のヘッドは意味的な類似に、というように異なる観点の関連を同時に捉え、それを何層も積み重ねることで、単語レベルの関係から文章全体の論理構造まで、段階的に深い文脈理解を構築していきます。

構成要素 — 注意機構だけではない

Transformerの1層（ブロック）は、自己注意機構と、その出力をトークンごとに変換する順伝播ネットワーク（フィードフォワード層）のペアでできており、これを数十〜百層以上積み重ねます。学習を安定させる残差接続と正規化層が各所に挟まれているのも、深く積めるようになった重要な工夫です。もうひとつ欠かせないのが位置エンコーディングです。自己注意は全トークンを対等に見るため、そのままでは語順の情報が消えてしまいます。そこで各トークンに「自分が何番目か」を表す信号を混ぜ込み、語順を回復しています。

元論文の構成は、入力文を読むエンコーダと出力文を作るデコーダの二部構成でした。その後、文章の理解タスク向けにエンコーダだけを使うBERT系、文章生成向けにデコーダだけを使うGPT系へと分化し、現在のLLMの主流はデコーダのみの構成です。デコーダは「これまでのトークンだけを見て次の1トークンを予測する」制約付きの自己注意を使い、これがそのままLLMの文章生成の仕組みになっています。

並列化がスケール則への扉を開いた

Transformerの歴史的な意義は、精度の向上そのもの以上に「学習を並列化できるようにしたこと」にあります。全トークンの計算が同時に走るためGPUを数千台束ねた分散学習と相性が良く、機械学習の世界に「データ量・計算量・モデルの規模を増やすほど、性能が予測可能なかたちで伸び続ける」というスケール則（scaling laws）の発見をもたらしました。モデルを大きくする競争が合理的な戦略になったのはこのためで、Transformerなくして現在のLLMの規模は成立していません。

一方で弱点も構造に由来します。自己注意は全トークンの組み合わせを計算するため、計算量とメモリは系列長の2乗で増えます。長い文書を扱うほどコストが急増するこの制約に対し、注意の範囲を絞る工夫や効率的な実装（FlashAttentionなど）、状態空間モデルのような代替アーキテクチャの研究が現在も活発に続いています。Transformerは完成形ではなく、いまも進化の途上にある土台なのです。