トランスフォーマーとは？

2017年にGoogleが発表した、文中の単語同士の関係性（どこに注目すべきか）を効率よく捉えるAIの構造。ChatGPTの「T」であり、生成AIブームの技術的な源流。

文章を理解するには「その単語が文中の何と関係しているか」を掴む必要があります。トランスフォーマーは「アテンション（注意機構）」という仕組みでこれを並列に高速処理できるようにし、大規模な言語モデルの学習を現実的にしました。

GPTは「Generative Pre-trained Transformer」の略。つまりChatGPTの名前には、この技術がそのまま入っています。LLMの性能競争は、突き詰めればこのトランスフォーマーをどれだけ大きく・賢く育てられるかの競争から始まりました。