データ自身から問題と正解を自動で作り出して学ぶ方法。「文章の続きを当てる」がその代表で、人間のラベル付けなしに無限の練習問題を生成できる。LLMの成功を支えた学習方式。
「むかしむかし、ある___に」の穴埋め問題は、元の文章さえあれば正解つきで無限に作れます。これが自己教師あり学習の発明です。人間がラベルを付ける教師あり学習の弱点（コストと量の限界）を、データ自身に問題を作らせることで突破しました。
LLMの事前学習はまさにこの方式で、インターネットの全テキストが「続きを当てるドリル」に変わりました。ラベル付け不要だからこそ、学習データを桁違いにスケールでき、スケールが賢さを生んだ——生成AIの成功物語の、影の立役者です。
用語を覚えるより、ストーリーで体感するほうが早い。