レッドチーミングとは？

攻撃者の視点でAIをわざと攻撃し、弱点を公開前に洗い出す安全性テスト。ジェイルブレイクや有害出力の穴を、悪用される前に自分たちで見つけるための実務。

軍事演習で敵役を演じる「赤軍」が語源です。AIの文脈では、専門チームが意地悪の限りを尽くしてモデルを攻撃します。差別発言を引き出せないか、危険な情報を吐かせられないか、演技や言い換えで騙せないか——悪意ある利用者が本番でやることを、味方が先にやり尽くすわけです。

主要AI企業はモデル公開前のレッドチーミングを標準工程にしており、外部の専門家や研究者に攻撃を依頼することもあります。「AIの安全性は、性善説ではなく攻撃テストで担保する」という文化の表れで、企業が自社AIサービスを出す際にも規模なりに必要になる考え方です。