ベンチマークとは？

AIモデルの実力を測る共通テストのこと。数学・コーディング・一般知識など種目ごとにスコアを競い、新モデル発表のたびに「最高記録更新」が話題になる。

「新モデルが◯◯で95点!」というニュースの◯◯がベンチマークです。大学院レベルの知識を問うもの、実際のソフトウェア開発課題を解かせるものなど多数あり、モデルの得意不得意を種目別に比べられます。

ただし過信は禁物。テスト問題が学習データに混ざって「過去問を知っている」状態になったり、ベンチマーク対策に最適化された自己ベスト更新だったりすることも。偏差値が高い人が仕事もできるとは限らないのと同じで、最後は自分の用途で試すのが正解です。