AIモデルに膨大なデータで基礎能力を身につけさせる最初の学習工程。GPTの「P」はこの言葉（Pre-trained）の頭文字。後から用途別に調整する工程と対になる。
AIの教育は二段階です。まずインターネット規模のテキストで「言葉と世界の常識」を丸ごと学ぶのが事前学習。その後、対話の作法や安全性を仕込む微調整（ファインチューニングやRLHF）が続きます。人間でいえば、義務教育と就職後の研修の関係です。
事前学習は数ヶ月と莫大な計算資源を要する、AI開発で最も高価な工程です。ChatGPTのGPTが「Generative Pre-trained Transformer」の略であるように、この工程こそ現代AIの土台。「基礎は巨大に一度だけ、応用は軽く何度でも」という分業が、AI産業の構造を形作っています。
用語を覚えるより、ストーリーで体感するほうが早い。