COMIXAI吉川 聡史
しくみ・技術とらんすふぉーまーTransformer

トランスフォーマーとは?

DEFINITION — ひとことで言うと

2017年にGoogleが発表した、文中の単語同士の関係性(どこに注目すべきか)を効率よく捉えるAIの構造。ChatGPTの「T」であり、生成AIブームの技術的な源流。

DIAGRAM — 図解
トランスフォーマー(アテンション)のしくみ図解アテンション=単語同士の関係への「注目」今日天気いい「いい」→「天気」に注目
文中のどの単語同士が関係するかに「注目」して意味を掴む

文章を理解するには「その単語が文中の何と関係しているか」を掴む必要があります。トランスフォーマーは「アテンション(注意機構)」という仕組みでこれを並列に高速処理できるようにし、大規模な言語モデルの学習を現実的にしました。

GPTは「Generative Pre-trained Transformer」の略。つまりChatGPTの名前には、この技術がそのまま入っています。LLMの性能競争は、突き詰めればこのトランスフォーマーをどれだけ大きく・賢く育てられるかの競争から始まりました。

何がすごかったのか:アテンション(注意機構)

文章の意味は語順どおりには決まりません。「銀行の口座」と「川の銀行(土手)」のように、単語の意味は文中の遠くの言葉との関係で決まります。トランスフォーマーの核心であるアテンションは、文中のすべての単語ペアについて「どれとどれが関係しているか」を一気に計算する仕組みです。

論文のタイトルはそのまま「Attention Is All You Need(注意こそすべて)」。この一撃で、それまでの主流だった「前から順番に読む」方式(RNN)は主役の座を明け渡しました。

それ以前と何が変わったか

旧方式のRNNは文章を前から1語ずつ処理するため、長い文で前半を忘れがちで、しかも順番待ちのせいで学習の並列化ができませんでした。トランスフォーマーは全単語を同時に見るため長距離の関係に強く、GPUで大規模に並列学習できます。

この「並列化できる」が歴史的に効きました。計算機を増やせば増やすほど大きなモデルを訓練できる——スケールの競争が可能になり、その先にGPTやClaudeのような大規模言語モデルが生まれたのです。

名前の由来と現在の系譜

Transformerは「変換器」の意。もともと機械翻訳(ある言語を別の言語に変換)のために設計されたのが名前の由来で、玩具のトランスフォーマーとは関係ありません。

現在は言語だけでなく、画像認識(ViT)、画像生成、音声、動画生成まで、AIのほぼ全分野がトランスフォーマー系の構造で動いています。2017年の翻訳用の発明が、8年でAI業界全体の共通基盤になった——技術史でも稀に見る成功例です。

トランスフォーマーのよくある質問

Q.GPTのTがトランスフォーマーというのは本当ですか?
A.

本当です。GPT=Generative Pre-trained Transformerの略で、「事前学習済みの生成型トランスフォーマー」という意味。ChatGPTの名前にはこの技術がそのまま入っています。

Q.発明したのは誰ですか?
A.

2017年にGoogleの研究チームが発表しました。論文著者の多くはその後独立し、各地のAIスタートアップの創業に関わっています。

LEARN MORE — もっと深く

マンガ・実践記事で理解する

読むより速い、体感で学ぶ

用語を覚えるより、ストーリーで体感するほうが早い。

役に立ったらシェア→𝕏 ポストB! ブックマーク