アテンション（注意機構）とは？

文中のどの単語に「注目」すべきかを計算する仕組み。トランスフォーマーの心臓部であり、現代の生成AIすべての土台になった発明。論文名「Attention Is All You Need」で有名。

「銀行の口座」と「川の土手」——英語ではどちらもbankです。正しく訳すには、周りのどの単語に注目すべきかを見極める必要があります。アテンションは、この「文脈のどこを見るか」を数値で計算する仕組みです。

2017年の論文「Attention Is All You Need（注意こそすべて）」は、この仕組みだけで言語処理を組み立てたトランスフォーマーを提案し、AIの歴史を変えました。文全体を並列に見渡せるため学習を大規模化でき、それがGPTやClaudeの誕生につながります。生成AIの系譜をたどると、必ずこの発明に行き着きます。