コンピュータ操作AI（Computer Use）とは？

AIが画面を「見て」、人間のようにマウス操作やクリック・入力を行ってパソコンを直接操作する技術。専用連携のないソフトでもAIが代行操作できるようになる。

ツール使用（API連携）が「裏口から丁寧につなぐ」方式だとすれば、コンピュータ操作AIは「人間と同じ玄関から入る」方式です。スクリーンショットで画面を認識し、ボタンの位置を判断してクリックし、フォームに入力する——API連携が用意されていない古い業務システムやWebサイトでも、理屈の上ではAIが操作できます。

AnthropicのComputer Useをはじめ各社が開発を進め、ブラウザ操作型のエージェントも登場しました。まだ速度と確実性は発展途上で、「見せてはいけない画面」をAIに見せるリスク管理も課題です。それでも「あらゆるソフトがAIの手足になりうる」方向性は、業務自動化の景色を変えていく本命のひとつです。