モデル内部を複数の「専門家」に分け、入力ごとに必要な専門家だけを起動する設計。巨大な知識量と軽い計算コストを両立でき、最新LLMの多くが採用している。
巨大な脳を毎回まるごと動かすのは電気の無駄です。MoEは脳内に多数の専門家チームを置き、質問に応じて交通整理役(ルーター)が担当を数人だけ呼び出す設計。総パラメータは巨大でも、1回の処理で動くのは一部だけ——「大きく賢く、しかし軽く」を実現します。
DeepSeekの低コスト旋風で一躍有名になり、いまや主要LLMの標準装備になりつつあります。「パラメータ数のわりに動作が軽い」というモデル紹介を見たら、裏にいるのはたいていMoE。AIの性能競争が「大きさ」から「効率」へ移った象徴的な技術です。
用語を覚えるより、ストーリーで体感するほうが早い。