Computer Use(画面操作)

ざっくり言うと

文章を返すだけだった AI が、ついに「画面に触る」ところまで来た。それが Computer Use の位置づけです。

イメージ

正確には

Anthropic は 2024年10月、Claude 3.5 Sonnet の新モデル発表と同時に Computer Use という新しい API 機能をパブリックベータで公開しました。公式アナウンスでは、Claude が「画面を見て、カーソルを動かし、ボタンをクリックし、テキストを入力する」ことができる、と説明されています。

仕組みをざっくり分けると、こうなります。

ステップ	やっていること
1. 画面を見る	デスクトップやブラウザのスクリーンショットを撮り、AI に渡す
2. 状況を理解する	画像認識(Vision)で「どんな画面か」「どこにボタンがあるか」を把握
3. 操作を決める	目的を達成するために「次に何をクリック / 入力すべきか」を AI が判断
4. 操作を実行する	カーソル座標の指定・クリック・キー入力などのコマンドをツール経由で実行
5. 繰り返す	操作後にまた画面を撮り直し、目的が達成されるまでループ

つまり Computer Use の正体は、Vision(画像認識)+ Function Calling(ツール実行)+ ループ制御を組み合わせたものです。新しい魔法というより、既存ピースを「PC を操作する」という目的に組み直した形態だと考えると分かりやすいです。

他社の動き

Computer Use 系の動きは Anthropic だけではありません。歴史的な発表と現在の製品例を分けると、次のようになります。

• 歴史的な例 — OpenAI Operator: 2025年1月、専用ブラウザ環境を操作する研究プレビューとして発表されました。
• 歴史的な例 — Google Project Mariner: Chromeのタブを操作する研究プロジェクトとして公開されました。
• 現行例 — ChatGPT WorkのBuilt-in Browser: ChatGPTデスクトップアプリでは、WorkやCodexから独立したブラウザ状態を持つBuilt-in Browserを開けます。Workでは、許可したローカルファイルやデスクトップアプリも利用できます。
• 現行例 — ChatGPTデスクトップのComputer Use: ChatGPTデスクトップアプリで、許可されたアプリやブラウザをクリック・入力し、ファイルを移動する画面操作機能です。利用可否はプランやWorkspace設定などで変わります。
• 現行の試験的な例 — Gemini Spark: 個人向けGemini Appsから、Connected Apps、ログイン中のWebサイト、リモートブラウザやリモートコンピューターを使う機能です。2026年7月15日時点では18歳以上の個人Googleアカウント、Google AI Ultra、Keep Activityの有効化が必要です。英語のみで、日本は提供対象外です。

各社で名前や提供形態は違いますが、「AI が画面を見て操作する」という大きな方向性は共通しています。

ここで挙げたChatGPT WorkとGemini Sparkは一般ユーザー向け製品の例です。OpenAI APIやGemini APIで提供されるComputer Use関連機能とは、利用条件や実行環境を分けて確認します。

RPA との違い

「画面を自動で操作する」と聞くと、RPA(Robotic Process Automation) を思い出す方もいるはず。違いは次のとおりです。

観点	RPA	Computer Use
画面の理解の仕方	座標・要素 ID など、事前に決めた目印を使う	スクリーンショットを AI が視覚的に解釈 する
新しい画面への対応	レイアウトが変わるとシナリオが壊れがち	レイアウトが変わってもある程度 その場で判断 できる
指示の仕方	フローを 事前に細かく組む	「◯◯しといて」と 目的だけ伝える ことができる
得意分野	同じ作業を大量・正確に繰り返す	手順が毎回ちょっと違う・新規サイトでの低リスクな操作

雑にまとめると、RPA は「決まった作業を厳密に繰り返す職人」、Computer Use は「臨機応変に動けるバイトくん」 という性格の違いがあります。どちらが上というより、向いている仕事が違うイメージです。

注意点

また、提供形態はベータ・研究プレビューから正式機能まで環境によって差があり、料金体系や利用規約も各社で更新されます。実際に業務で使う前に、公式ドキュメントで制限事項・対象地域・対応環境を確認してください。

やってみよう

「画面を操作できる AI」は、チャット欄の中だけにいた AI が、いよいよデスクの上にまで出てきた変化です。関連用語の AIエージェント・Vision(画像認識)・Function Calling と合わせて押さえておくと、ここ数年のニュースがかなり立体的に見えるようになります。