創発とは？

モデルを大規模化すると、教えていない能力が突然現れる現象。翻訳や推論など、小型では全くできなかったことが、ある規模を超えると急にできるようになる。

水を冷やしていくと、0度で突然氷になる——創発はそんな相転移に似ています。「次の単語を当てる」練習しかしていないのに、規模がある閾値を超えた途端、翻訳ができる、計算ができる、論理パズルが解ける。開発者自身が「教えた覚えのない能力」に驚いてきたのが、LLM開発の歴史です。

なぜ起きるのかは完全には解明されておらず、「測り方の問題で、実際は連続的な向上だ」という反論もある、ホットな研究テーマです。確かなのは、AIの能力が事前に完全予測できないこと。これが「作った本人にも分からない」というAIの不気味さと面白さ、そして安全性研究の必要性の源泉になっています。