AIが画面を「見て」、人間のようにマウス操作やクリック・入力を行ってパソコンを直接操作する技術。専用連携のないソフトでもAIが代行操作できるようになる。
ツール使用（API連携）が「裏口から丁寧につなぐ」方式だとすれば、コンピュータ操作AIは「人間と同じ玄関から入る」方式です。スクリーンショットで画面を認識し、ボタンの位置を判断してクリックし、フォームに入力する——API連携が用意されていない古い業務システムやWebサイトでも、理屈の上ではAIが操作できます。
AnthropicのComputer Useをはじめ各社が開発を進め、ブラウザ操作型のエージェントも登場しました。まだ速度と確実性は発展途上で、「見せてはいけない画面」をAIに見せるリスク管理も課題です。それでも「あらゆるソフトがAIの手足になりうる」方向性は、業務自動化の景色を変えていく本命のひとつです。
上の本文で「見せてはいけない画面をAIに見せるリスク管理も課題」と書きましたが、ここに動きがありました。2026年10月2日、AppleがmacOSの「フルディスクアクセス」に追加の制御を入れると表明しています。フルディスクアクセスは、アプリに対して利用者のファイル・メール・メッセージ・閲覧履歴までまとめて読む許可を与える設定です。Appleは、一部の開発者がこの許可を、利用者が十分に理解しないまま危険な形で使っていると指摘したうえで、AIエージェントが高性能かつ自律的になるにつれ、この水準のアクセスに伴うリスクは大幅に増す、と説明しました。今後は「非常に明示的な利用者の操作」でのみ許可できるようにするとしています。対象のmacOSのバージョンや時期は示されていません。
何が新しいかというと、エージェントを名指しして、OSの基本的な権限設計を見直す動きだという点です。主要なOSでこの種の変更が示されたのは初めてだと報じられています。AIにパソコンを操作させる使い方が広がるほど、「アプリを信用するかどうか」ではなく「そのアプリに何を渡すか」が利用者の判断に戻ってくる——その流れを示す出来事と見ると位置づけが分かりやすいです。
実務としては、丸ごとの許可を求めてくるAIツールに出会ったとき、必要な範囲だけに絞れないかを先に確認するのが有効です。バックアップやウイルス対策のように、正当に広い権限が要るアプリもあります。全部断るのではなく、「なぜその権限が要るのか、自分の言葉で説明できるか」を基準にすると判断を誤りにくくなります。
渡す権限次第です。2026年10月2日、Appleは「AIエージェントが高性能かつ自律的になるにつれ、全ファイルへのアクセス権に伴うリスクは大幅に増す」として、macOSのフルディスクアクセスに追加の制御を入れると表明しました。丸ごとの許可を求めるツールには、必要な範囲だけに絞れないかを先に確認するのが有効です。
RPAは「この画面のこの位置を押す」といった手順を人が先に決めて登録します。コンピュータ操作AIは画面を見て自分で判断して操作するため、手順を作り込まなくても動けます。そのぶん、想定外の画面で思わぬ操作をする可能性もあります。
用語を覚えるより、ストーリーで体感するほうが早い。