マウスとキーボードを操作するAIエージェント:9つのツール比較(2026年版)

2026年現在、マウスとキーボードを操作する最高のAIエージェントは SimularのSaiです。このエージェントは、プライベートクラウド上のコンピューター、または手元のMacやWindowsマシンで、実際のデスクトップ環境(アプリ、ブラウザ、ファイル、ターミナル)をエンドツーエンドで操作できるためです。また、このカテゴリーで唯一、タスクあたりのコストが公開されています。Claudeのコンピューター使用機能は、手元のコンピューターで日常的なタスクをこなすのに最も強力な選択肢であり、ChatGPT Workのコンピューター使用機能はOpenAIエコシステムにおける最も近い代替手段です。オープンソースの選択肢としては、UI-TARS DesktopとAgent S3が注目に値します。

本ガイドは、「コンピューターを操作するAI」を扱う一般的なまとめ記事よりも、あえて対象を絞り込んでいます。実際にデスクトップ上でカーソルを動かし、タイピングを行うツールのみを掲載し、それぞれが手元のコンピューターで動作するのか、ベンダーがホストするクラウドコンピューターで動作するのか、あるいはその両方なのかを明記しました。ブラウザ専用のエージェント、コマンドラインエージェント、GUIに一切触れないクラウドサンドボックスについては、本リストに含まれない理由を説明する別のセクションで解説しています。価格、プラットフォーム、ベンチマークの数値はすべて、2026年10月時点で各ベンダーの公式ページまたはOSWorldの公式リーダーボードと照合済みです。

‍

マウスとキーボードを操作するAIエージェントとは?

マウスとキーボードを操作するAIエージェントとは、コンピューター画面のスクリーンショットを読み取り、ビジョン言語モデルを用いて次の動作を判断し、人間と同じようにクリック、スクロール、ドラッグ、タイピングを行って操作を実行するソフトウェアのことです。APIではなくピクセル情報を基に動作するため、レガシーなデスクトップソフトや社内ツール、統合機能を持たないウェブサイトなど、グラフィカルインターフェースを持つあらゆるアプリケーションを操作できます。

本ガイドで紹介するすべての製品において、処理のループは「画面を観察し、目標を推論し、入力デバイスを通じて行動し、再び観察する」という流れで共通しています。違いが生じるのは、そのループがどこで実行されるか(手元のマシンかクラウドコンピューターか)、数百ステップにわたるタスクにおいてモデルがどれほど信頼できるか、エージェントによる不可逆的な操作を防ぐための安全策がどうなっているか、そしてタスク完了あたりのコストがいくらかという点です。

研究論文やベンチマークでは「コンピューター使用エージェント(computer use agent)」や「GUIエージェント」という用語が使われます。より詳細な背景を知りたい方は、以下の解説記事をご覧ください。 コンピューター使用とは何か、AIエージェントはどのようにコンピューターを操作するのかを提供しています。

‍

「コンピューターを操作するAI」の3つのタイプ

多くの記事では、性質の異なる3つの製品が混同されています。まずはこれらを整理することで、無駄なサブスクリプション契約を防ぎましょう。

1. 手元のデスクトップを操作するエージェント 手元のコンピューター上で実行され、実際のマウスとキーボード(または新しいmacOSビルドではバックグラウンドウィンドウ)を操作します。エージェントの動作を視認でき、ログイン済みのアプリやファイルを利用できますが、ノートPCがスリープ状態になると動作も停止します。Claudeのコンピューター使用機能、ChatGPT Workのコンピューター使用機能、Perplexity Personal Computer、UI-TARS Desktop、Agent S3、OpenClawのコンピューター使用ノード、およびSaiのデバイス持ち込みモード(BYOD)がこれに該当します。

2. クラウドコンピューターを操作するエージェント クラウド上に専用のWindowsまたはLinuxデスクトップ環境を持ちます。長時間稼働や複数のタスクを並行処理でき、PCを閉じている間も作業を継続できますが、ローカルのファイルやセッションには自動的にアクセスできません。Saiのデフォルトモードや、MicrosoftのCopilot Actions(PC内の別Windowsセッションを使用)がこれに該当します。

3. ブラウザのみを操作するエージェント DOMやスクリーンショットを通じてChromeタブを操作しますが、デスクトップアプリやファイルマネージャー、ターミナルを開くことはできません。Browser Use、ChromeのGemini Auto Browse、提供終了したChatGPT Atlasエージェントモードなどが例です。これらは有用ですが、本記事で扱う「マウスとキーボードを操作するエージェント」には含まれません。

どの製品に対しても、「ExcelやレガシーなERPクライアント、Finderウィンドウを開いて、その中をクリックできるか?」と問いかけてみてください。答えが「いいえ」であれば、それはカテゴリー3に分類されます。

How we evaluated

各ツールを以下の5つの基準で評価しました(重要度順)。

  • 操作範囲 OS全体(デスクトップアプリ、ファイル、ターミナル、ブラウザ)を操作できるか、それともブラウザのみか。また、手元のコンピューターで動作するのか、クラウドコンピューターで動作するのか、あるいはその両方か。
  • 信頼性 ツールやその基盤モデルがOSWorld-VerifiedまたはOSWorld 2.xで公開スコアを持っている場合、そのソースを明記しています。スコアが公開されていないツールについては、推定値の算出は行っていません。
  • タスクあたりのコスト サブスクリプション料金に加え、公開されている場合はベンチマークタスクの完了にかかる測定コストを記載しています。後者を公開しているベンダーは1社のみです。
  • 無人操作 ノートPCを閉じた状態での実行、複数のタスクの並列処理、スケジュール実行は可能か。
  • 安全管理 機密性の高い操作を行う前の承認プロンプト、サンドボックスオプション、画面上のコンテンツからのプロンプトインジェクションに対する保護機能。

プラットフォームの可用性と価格は、2026年10月10日時点の各ベンダーの公式ドキュメントおよび価格ページから取得したものです。ベンチマーク数値は、OSWorldチームが公開する公式のOSWorld-Verifiedリーダーボードファイル、またはベンダー自身のレポートから引用しており、それぞれどちらのソースであるかを明記しています。本記事の内容はスポンサーシップを受けていません。

‍

Comparison Summary

Rank Tool Best for What it controls Platforms Starting price Runs unattended Open source
1 Sai by Simular Cross-app workflows that run without you Cloud computer or your own desktop Cloud: Windows, Linux · BYOD: macOS, Windows Free; $50/mo Yes No (Agent S is)
2 Claude computer use Everyday tasks on the computer in front of you Your own desktop macOS, Windows $20/mo (Pro) No (computer must stay awake) No
3 ChatGPT Work Computer Use OpenAI users who want local app control Your own desktop macOS, Windows $20/mo (Plus) Background on Mac only No
4 Perplexity Personal Computer Research-heavy work across native Mac apps Your own Mac macOS 15+ $20/mo (Pro) Background on Mac No
5 UI-TARS Desktop Open-source desktop control you can inspect Your own desktop or a remote one Windows, macOS Free + model API costs Depends on your setup Yes (Apache-2.0)
6 Agent S3 Researchers and builders who want a benchmark-leading open framework Your own desktop Linux, macOS, Windows Free + model API costs Depends on your setup Yes (Apache-2.0)
7 Microsoft Copilot Actions Windows 11 users who want a built-in, isolated agent A separate agent session on your PC Windows 11 (Insider) [需填入真实数据] Yes, in its own session No
8 OpenClaw (computer-use node) Self-hosters who already run OpenClaw Your own desktop (opt-in) macOS; Windows/Linux experimental Free + model API costs Yes, no per-action confirmation Yes (MIT)
9 Gemini Computer Use API Developers building their own desktop agent Whatever environment you host Any (you run the actions) API token pricing You build it No

2026年版:マウスとキーボードを操作するAIエージェントおすすめ9選

‍

1. Sai by Simular - 自動実行されるクロスアプリケーションワークフローに最適

料金: Exploreプラン:無料(デイリークレジット付与)、Pay as you goプラン:月額50ドル(50,000クレジット)、Sai Unlimitedプラン:月額500ドル、Enterpriseプラン:カスタム見積もり。 対応プラットフォーム: クラウドコンピューター(WindowsまたはLinux)、または自身のMacやWindowsマシン。 操作対象: デスクトップアプリ、ブラウザ、ファイルシステム、およびフルOS上のターミナル。

Sai は、「ブラウザのタブではなく、コンピューターそのものをエージェントに与える」というシンプルな前提に基づいて構築されています。タスクを平易な言葉で説明すると、SaiはWebポータル、デスクトップの会計ソフト、スプレッドシート、PDFフォルダなど、業務に必要なあらゆるアプリケーションを横断してクリックやタイピングを行い、タスクを遂行します。OSのアクセシビリティデータと視覚的なグラウンディングを組み合わせているため、ラベルでボタンを認識できる場合はそれを使い、できない場合はピクセル情報に基づいて操作を行います。

Saiが以下のデスクトップ専用ツールと一線を画しているのは、デプロイメントの選択肢です。デフォルトではSaiは独自のクラウド仮想マシン上で実行されるため、ノートPCを開いておく必要はありません。50ドルのプランでは最大5台のクラウドコンピューターを同時に実行でき、実行時間のみが課金対象となります。ローカルファイルやログイン済みのセッションが必要なタスクの場合は、「持ち込みデバイス(BYOD)」モードに切り替えることで、Saiは自身のMacやWindowsマシンを操作し、AIの使用分のみがクレジットから消費されます。チームにとって、これは「監視が必要なアシスタント」と「仕事を任せられるワーカー」の違いを意味します。同じエンジンが以下の方法で開発者に公開されています。 Sai APIおよびMCPサーバーこれにより、Claude CodeやCursorのようなコーディングエージェントが、GUI操作をSaiに委任できるようになります。

信頼性とコストの面で、Simularは本リストの他社が公開していない数値を公表しています。標準的なコンピュータ操作ベンチマークの長期版であるOSWorld 2.1において、SimularはSaiのスコアを部分スコア77.3%(繰り返し実行を含めると79.4%)、タスクあたり14.34ドルと報告しています。これはClaude Opus 5の77.67%と同等でありながら、より低コストであると説明されています。 詳細なレポート、軌跡、および手法は公開されていますこれらはベンダーが報告した数値であり、公式のOSWorldリーダーボードへの登録ではありません。しかし、ここに挙げた製品の中でタスクあたりのコストを公開している唯一の例であり、その基盤となるAgent Sの研究はOSWorld-Verifiedに個別に掲載されています(項目6を参照)。

無人操作において重要な設計上の選択が2つあります。1つ目は承認プロセスです。サインイン、パスワード入力、電話認証などはエージェントが処理するのではなく、承認ステップとしてユーザーに通知されます。2つ目はリプレイ機能です。Saiは一度手順を学習すると、インターフェースが変更されて適応が必要になるまで、ステップごとに再推論することなく、スケジュールやトリガーに基づいて繰り返し実行できます。これが、Saiが以下のような業務に適している理由です。 毎月の銀行取引明細書のダウンロード、スプレッドシートから同じオンラインフォームへの入力、または作成済みの手順書をスケジュール化されたジョブへ変換を提供しています。

主な強み

  • デスクトップアプリ、ブラウザ、ファイル、ターミナルを含むOS全体の操作が可能なため、APIのないソフトウェアも対象となります。
  • プライベートクラウドコンピュータまたは自身のデバイスで実行可能です。クラウド実行ならノートPCを閉じても処理が継続され、50ドルのプランでは最大5つまで並行処理が可能です。
  • ベンチマークおよびタスクあたりのコストを公開(OSWorld 2.1:部分スコア77.3%、タスクあたり14.34ドル、ベンダー報告値)。実行軌跡も公開されています。
  • ログインや機密性の高いステップは承認ベースで処理。スケジュール実行やトリガー実行に対応。スキル、MCPサーバー、APIによる拡張が可能です。

制限事項

  • クラウドコンピュータはWindowsまたはLinuxのみ対応。macOSでの作業には、BYODモードで自身のMacを使用する必要があります。
  • クローズドソース。オープンソースのフレームワークであるAgent Sは別のプロジェクトです。
  • ベンチマーク数値はOSWorld 2.xにおける自己申告値です。Sai自体は公式のOSWorld-Verifiedリーダーボードには掲載されていません。
  • デスクトップでの重いワークフローは、ブラウザでの軽いタスクよりもクレジットを早く消費します。無料プランはテスト用であり、日常的な業務の実行には適していません。

推奨ユーザー

複数のアプリをまたぐ作業、特に繰り返し発生するタスクやレガシーソフトウェアの操作を自動化し、監視なしで実行したいチームや個人。

Sai APIを試す

‍

2. Claudeコンピュータ使用(Claude DesktopおよびCowork) - 手元のコンピュータでの日常的なタスクに最適

料金: Claude Pro(月額20ドル、または年払い月額17ドル)またはMax(月額100ドルから)が必要です。執筆時点ではTeamプランやEnterpriseプランでは利用できません。 対応プラットフォーム: macOSおよびWindowsデスクトップアプリ。macOS 15以降ではバックグラウンドモードに対応。 操作対象: スクリーンショットを通じて、デスクトップ、アプリ、ブラウザを操作。

Anthropicは、コンピューター操作機能を Claudeデスクトップ アプリに2026年3月に実装しました。まずはmacOS向けに、続いてWindows向けに提供を開始し、2026年9月にはMacでバックグラウンドモードを追加しました。これにより、Claudeはユーザーが使用中のウィンドウの背後で、ポインターを奪うことなく作業できるようになりました。設定からこの機能をオンにし、アクセシビリティと画面収録の権限を許可すれば、Claudeがアプリを開き、クリックや入力、画面操作を行って、指示されたタスクを完了させます。ターミナル上のClaude Codeでも、macOSで同様の機能を利用可能です。

この機能の魅力は、すでに数百万人が利用しているツールに組み込まれている点にあります。また、基盤となるモデルはこの種の作業に長けています。公式のOSWorld認定リーダーボードでは、2026年8月時点でAnthropicのモデルが上位を占めており、claude-fable-5が85.96%、claude-opus-5が83.39%を記録しています。ただし、これらはベンチマーク用に構築された環境でのモデルスコアであり、一般消費者向けのデスクトップ機能で測定された結果ではない点にご注意ください。

制約については、自身のマシンを共有するエージェントであれば当然想定されるものです。コンピューターはアプリを開いたままスリープさせない必要があり、コンピューター操作セッションは一度に1つしか実行できません。macOSのバックグラウンドモードを使用している場合を除き、Claudeの作業中は他のアプリが隠れます。また、取引や暗号資産関連のアプリなどはデフォルトでブロックされています。Anthropicは、Claudeとユーザーのアプリケーションの間にサンドボックスは存在しないと明言しており、そのため、ユーザーが作業内容を監視できるタスクでの利用を推奨しています。

主な強み

  • macOSとWindowsの両方のClaudeデスクトップアプリでネイティブ対応。macOS 15以降のバックグラウンドモードなら、作業を中断せずに利用可能。
  • OSの権限設定以外に特別な準備は不要。普段使っているアプリ、ファイル、ログイン済みセッションをそのまま利用可能。
  • 公式のOSWorld認定でトップクラスのスコアを誇るモデルがバックエンドを支えています。

制限事項

  • ProまたはMaxプラン限定。TeamおよびEnterpriseプランではまだ利用できません。
  • 現在もベータ版です。Anthropicのヘルプセンターによると、複雑なタスクは「再試行が必要になる場合がある」とのことです。
  • デスクトップをアクティブに保つ必要があります。セッションは一度に1つまで。クラウドコンピューターのオプションはないため、離席中に実行することはできません。
  • エージェントとアプリケーションの間にサンドボックスはありません。

推奨ユーザー

自身のMacやPCで、短時間の監視が必要なタスクを任せたい個人向けClaudeサブスクリプションユーザー。

‍

3. ChatGPT Workコンピューター操作 (OpenAI) - ローカルアプリの制御を求めるOpenAIユーザーに最適

料金: ChatGPT Plusは月額20ドル、Proプランは月額100ドル、200ドル、500ドル。OpenAIのドキュメントによると、コンピューター操作機能はChatGPT WorkおよびCodexで利用可能ですが、どのプランで解放されるかは明記されていません。 対応プラットフォーム: macOSおよびWindowsデスクトップアプリ。 制御対象: ユーザー自身のデスクトップGUI。バックグラウンド実行はmacOSのみ。

OpenAIのコンピュータ制御 2026年、状況は一変しました。クラウドブラウザ型の「ChatGPTエージェント」(旧Operator)は提供を終了し、Atlasブラウザのエージェントモードも2026年8月9日をもってサポートを終了しました。これらに代わって2026年7月に登場したのが、ChatGPT Work内の「Computer Use」です。ChatGPTデスクトップアプリがMacやPCのグラフィカルインターフェースを認識・操作できるようになり、ユーザーに代わってクリック、入力、アプリの操作を行うことが可能になりました。

macOSでは、特定のタスクをバックグラウンドで実行できるほか、一時的にMacのロックを解除してタスクを継続することも可能です。OpenAIはこれを意図的に限定的な機能としています。Windowsでの実装はより制限されており、エージェントがフォアグラウンドでポインタを動かして入力を行うため、作業中に同じセッションを使い続けることはできず、デバイスのロックを解除したままオンライン状態にしておく必要があります。なお、ターミナルアプリやChatGPT自体の自動化は行えず、管理者権限やセキュリティプロンプトの承認もできません。

組織ですでにChatGPTの導入が進んでいる場合、デスクトップ制御を実現する自然な選択肢となります。信頼性について、OpenAIの現在の一般向けページにはOSWorldの数値は記載されていません。2025年7月時点の旧モデル「computer-use-preview」はOSWorld-Verifiedで31.4%のスコアを記録し、2026年5月のGoogleのモデルカードではGPT-5.5が78.7%とされています。基盤となる能力は大幅に向上していますが、製品機能そのものに対する測定値は公開されていません。

主な強み

  • MacおよびWindows版ChatGPTデスクトップアプリに組み込まれており、別途購入する必要はありません。
  • macOSではバックグラウンド実行およびロック画面でのタスク継続が可能。
  • Plus、Pro、Business、Enterprise、Eduの各プランで順次展開中。

制限事項

  • Windows版はフォアグラウンドでのみ動作し、セッションを占有します。
  • ターミナルの操作、システムプロンプトの承認、クラウドコンピュータ上での実行は不可。
  • 地域制限あり(「サポートされている地域」のみ)。正確な対象地域リストやプランごとの制限についてはドキュメントで公開されていません。
  • デスクトップ機能に関する公開ベンチマークはなし。

推奨ユーザー

追加のサブスクリプション契約なしで、バックグラウンドでのアプリ制御を求めるChatGPTプラン利用者のMacユーザー向け。

‍

4. Perplexity Personal Computer - Macネイティブアプリを駆使したリサーチ業務に最適

料金: Perplexity Pro 月額20ドル、またはMax 月額200ドル(年額2,000ドル)。 対応プラットフォーム: macOS 15 Sequoia以降のみ。常時稼働にはMac miniを推奨。 制御対象: ローカルファイル、Macネイティブアプリ、Cometブラウザ。

Perplexity は、「Computer」という名称で2つの製品を展開しています。2026年2月に開始された「Perplexity Computer」は、独自のファイルシステムとブラウザを備えた隔離環境でタスクを実行するクラウド型デジタルワーカーです。一方、2026年4月にリリースされ、5月にすべてのMacユーザーに開放された「Personal Computer」が本リストの対象です。これは、メール、Finder、Slackなどのネイティブアプリを直接操作し、バックグラウンドで動作し、音声入力に対応し、iPhoneからリモート操作も可能なMacアプリです。

強みは、Perplexityのリサーチエンジンとローカルでのアクションが組み合わさっている点です。「直近の請求書を3件見つけて、合計金額をNumbersに転記し、メールの下書きを作成して」と指示すれば、関連するアプリを横断して処理を実行します。Perplexityの公式ページでは、ネイティブアプリの操作や機密性の高い手順に対するデバイス内認証について説明されていますが、AnthropicやByteDanceのようにマウスやキーボードの操作メカニズムまでは明記されていません。

制限事項はプラットフォームです。Mac専用(macOS 15以降)であり、Windows版は提供されていません。ブラウジングはデフォルトのブラウザではなく、Perplexity独自の「Comet」ブラウザを経由します。また、公開されているベンチマーク結果もありません。

主な強み

  • Macのネイティブアプリやローカルファイルをバックグラウンドで操作可能。音声入力やiPhoneからのリモート制御にも対応。
  • Perplexityのリサーチ機能やコネクタとの緊密な統合。
  • 機密性の高い操作に対するデバイス内認証。

制限事項

  • macOS 15以降専用。WindowsやLinuxには非対応。
  • WebタスクにはCometブラウザが必要。
  • 信頼性やコストに関する公開データはなし。

推奨ユーザー

すでにPerplexityの有料ユーザーで、単なる回答だけでなく、実際に操作を実行させたいMacユーザー。

‍

5. UI-TARS Desktop (ByteDance) - 中身を確認できる最高のオープンソース・デスクトップ操作エージェント

料金: 無料、Apache-2.0ライセンス。モデルのAPIキーはユーザー自身で用意。 対応プラットフォーム: WindowsおよびmacOS用デスクトップアプリ。ローカルおよびリモートのコンピュータ操作、ブラウザ操作に対応。 制御対象: スクリーンショットに基づき、ローカルコンピュータのマウスとキーボードを精密に制御。

UI-TARS Desktop 「AIにマウスとキーボードを操作させたい、そしてその仕組みを確認したい」というニーズに対する、最も直接的なオープンソースの回答です。これはネイティブのGUIエージェントアプリであり、スクリーンショットを撮影して視覚的にUI要素を認識し、WindowsやmacOS上で実際にクリックやキー入力を行います。同じリポジトリには、DOM、GUI、ハイブリッド制御、MCPサポートを備えたブラウザ特化型エージェント「Agent TARS」や、遠隔地のコンピュータやブラウザを操作するためのリモートオペレーターも含まれています。

UI-TARSはモデルファミリーでもあるため、信頼性が十分に文書化されています。2025年9月のUI-TARS-2技術レポートではOSWorldで47.5を記録し、2025年10月のOSWorld公式検証リーダーボードでは「UI-TARS-2-2509」が100ステップ設定で53.1%を達成しました。これは最先端のクローズドモデルには及びませんが、ほとんどのオープンソースの代替品を上回っており、2026年10月時点でGitHubのスター数は39,200に達しています。

これはすぐに使えるサブスクリプションサービスではなく、設定可能なエージェントスタックであることに注意してください。セットアップガイドではシングルモニター環境が指定されており、プロジェクトのニュースフィードは2025年11月から更新が止まっているほか、数百件の未解決のIssueが存在するため、調整に時間を割く必要があります。

主な強み

  • WindowsおよびmacOS上で、中身を確認可能なネイティブのマウス・キーボード操作を実現。
  • OSWorld公式スコア(53.1%)を持つオープンモデル。
  • ローカル、リモート、ブラウザの各オペレーターを1つのプロジェクトで統合。Apache-2.0ライセンス。

制限事項

  • シングルモニター環境向け。モデルは各自で用意し、利用料も自己負担となります。
  • スコアは最先端モデルに大きく引き離されています。
  • メンテナンスの頻度は低下しており、自己解決が前提となります。

推奨ユーザー

ソースコードを読み、修正し、ローカルで実行できるオープンソースのデスクトップエージェントを求める開発者や愛好家向け。

‍

6. Agent S3 (Simular Research) - ベンチマーク級のデスクトップエージェントに最適なオープンフレームワーク

料金: 無料、Apache-2.0ライセンス。モデルのAPIキー(Azure OpenAI、Anthropic、Gemini、OpenRouter、またはvLLM)は各自で用意する必要があります。 対応プラットフォーム: Linux、macOS、Windowsに対応。シングルモニター環境向け。 制御対象: スクリーンショットと生成された入力アクションによるローカルデスクトップGUI操作。ホスト上でのコード実行もオプションで可能です。

Agent S3 はSaiの基盤となっているオープンソースの研究用フレームワークであり、このリストの中で最も透明性の高い実績を誇ります。公式のOSWorld検証済みリーダーボードにおいて、Agent S3はGPT-5とBehavior Best-of-N(2025年10月)の組み合わせで69.9%、Claude Opus 4.5とGPT-5、Behavior Best-of-N(2025年12月)の組み合わせで72.58%を記録し、ベンチマークの人間基準である72.36%を突破しました。Best-of-Nを使用しない単一の実行では67.46%となります。論文はTMLR 2026に採択され、リポジトリのスター数は12.2kに達しています。

アーキテクチャとしては、画面を観察してpyautogui形式のアクションを出力する汎用エージェントです。モジュール式のグラウンディングモデル(推奨デフォルトはUI-TARS-1.5-7B)と、クリック操作よりもコードで解決する方が効率的なタスクを実行するためのコードエージェントを備えています。このハイブリッド構成が高スコアの大きな要因ですが、同時にREADMEでは、コードエージェントがユーザーと同じ権限で実行されるため、信頼できる環境でのみ使用するよう警告されています。

デスクトップエージェントを購入するのではなく、構築や研究を行いたい場合はAgent S3を選択してください。クラウドコンピューティング、承認機能、スケジューリングを備えたマネージド製品と同等の機能を求めるのであれば、Saiが適しています。

主な強み

  • 公式OSWorld検証済みスコアは69.9%および72.58%で、Best-of-N使用時は人間基準を上回ります。
  • Linux、macOS、Windowsに対応。モデルとグラウンディングの入れ替えが可能。Apache-2.0ライセンス。
  • 再現可能な評価を伴う公開研究。

制限事項

  • 研究用フレームワークであり、製品ではありません。UI、承認機能、スケジューラーは標準搭載されていません。
  • 最高スコアはBest-of-Nサンプリング(N=10)に依存しており、コストが増大します。単一実行時のパフォーマンスはこれより低くなります。
  • シングルモニターのみ対応。コードエージェントには信頼できる環境が必要です。

推奨ユーザー

拡張やベンチマークの比較対象として、主要なオープンフレームワークを求める研究者やエージェント開発者向け。

‍

7. Microsoft Copilot Actions - 組み込み型の隔離されたエージェントを求めるWindows 11ユーザーに最適

対応プラットフォーム: Windows 11専用。 制御対象: 「エージェントワークスペース」と呼ばれる独立したWindowsセッション内でアプリやファイルを実行します。

Copilot Actionsは、「Windows自体がエージェントを実行できるか」という問いに対するMicrosoftの回答です。Microsoftはこれを、人間のようにクリック、入力、スクロールを行うために視覚と推論を駆使し、アプリやファイルを操作してタスクを完了させるAIエージェントと説明しています。最大の特徴は分離設計です。エージェントは独自のデスクトップを持つ別のWindowsセッションで、専用のエージェントアカウントとして実行されます。そのため、エージェントが作業中でもユーザー自身のデスクトップはそのまま維持され、ファイルアクセスも、許可を与えない限り「ドキュメント」「ダウンロード」「デスクトップ」「ミュージック」「ピクチャ」「ビデオ」の各フォルダに限定されます。

2026年10月現在、これは依然として実験的なCopilot Labs機能であり、2025年11月にWindows Insider向けに展開が開始されました(EEAを除く全世界)。デフォルトではオフになっており、「設定」>「システム」>「AIコンポーネント」>「エージェントツール」から、管理者のみが有効化できます。Microsoft自身も、対象とするユースケースは限定的であり、複雑なインターフェースでは動作が不安定になる可能性があると述べています。公開されているベンチマークはなく、一般提供開始日も確認できていません。

主な強み

  • OSベンダーが設計したセキュリティモデル(セッションとアカウントの分離)により、Windows 11に組み込まれています。
  • ユーザーが自分のデスクトップを使い続けている間も動作します。

制限事項

  • 実験的機能であり、Insider限定、デフォルトでオフ、EEAでは利用不可。
  • ユースケースが限定的で、信頼性に関するデータもありません。
  • Windows専用。macOS、Linux、クラウド版はありません。

推奨ユーザー

OSネイティブなエージェントが一般公開される前に評価したいWindows愛好家やITチーム向け。

‍

8. OpenClaw(コンピュータ操作ノード) - すでにOpenClawを運用しているセルフホストユーザーに最適

料金: 無料、MITライセンス、有料プランなし。モデルのキーは自身で用意する必要があります。 対応プラットフォーム: macOS(PeekabooまたはCUAプロバイダー)、WindowsおよびLinux(実験的プラグイン経由)。 操作対象: オプトインツールとして、スクリーンショットとマウス/キーボード入力によるペアリングされたデスクトップ。

OpenClaw は、自身のマシン上で動作し、WhatsApp、Telegram、Slack、Discord、iMessageなど20以上のチャンネルを通じて対話できるオープンソースのパーソナルアシスタントです。GitHubスター数は約39万に達し、2026年時点でGitHubで最も人気のあるプロジェクトの一つとなっています。デスクトップ操作は中核機能ではありませんが、ゲートウェイエージェントがスクリーンショットやマウス/キーボード入力を使用してペアリングされたデスクトップを認識・操作できる「コンピュータ操作ノード」を備えています。

macOSでは、「コンピュータ制御」、「アクセシビリティ」、「画面収録」の権限と、視覚認識が可能なモデルが必要です。WindowsおよびLinuxでは、実験的プラグインがプライマリディスプレイのみを制御し、一部の操作(マウスの押し下げ/解放、キーの長押し、修飾キーを伴うクリック、ドラッグなど)には対応していません。また、操作ごとの確認機能はなく、サンドボックスを設定しない限りツールはホスト上で実行されるため、OpenClawの公式ドキュメントでは、受信メッセージを信頼できない入力として扱うよう推奨されています。

すでにメッセージング中心のアシスタントとしてOpenClawを利用している場合、このノードを有効にすることでスマートフォンからデスクトップを操作できるようになります。ゼロから構築を始め、デスクトップ自動化を主目的とする場合は、前述の専用ツールの方が近道です。

主な強み

  • 無料、MITライセンス、巨大なコミュニティ。あらゆるチャットアプリからデスクトップを操作可能。
  • 実際のChromeへの接続など、ブラウザモードを選択可能。

制限事項

  • デスクトップ操作はオプトインかつ副次的な機能。Windows/Linuxのサポートは実験的であり、プライマリディスプレイのみが対象。
  • 操作ごとの確認機能はなく、デフォルトではサンドボックス化もされていない。
  • ベンチマークデータなし。

推奨ユーザー

セルフホスト型のアシスタントを求め、ツールポリシーやサンドボックスの設定を自身で行える技術者向け。

‍

9. Gemini Computer Use API(Google) - 独自のデスクトップエージェントを構築する開発者に最適

料金: 標準的なGemini APIトークン料金体系。Chromeの自動ブラウジング機能は、米国のGoogle AI ProおよびUltraサブスクライバー向けです。 対応プラットフォーム: 自身でホストするあらゆる環境。APIが操作を返し、自身のコードでそれを実行します。 操作対象: OSレベルのカーソル操作が可能なブラウザ、モバイル、デスクトップエージェント。

Googleの提供形態は分かれています。Gemini 3.5 Flashに組み込まれ、新しいFlashモデル向けにドキュメント化されている「Gemini API Computer Use」機能は、OSレベルのアクション(クリック、ダブルクリック、右クリック、ドラッグ、入力、ホットキー、スクロール、スクリーンショット)を返します。これらはユーザー自身が構築するハーネス(実行環境)によって実行されるため、製品というよりはビルディングブロック(構成要素)に近いものです。GoogleのGemini 3.5 Flashモデルカードによると、OSWorld-Verifiedスコアは78.4%(2026年5月、Google報告)であり、Gemini 3.1 Proの76.2%と合わせ、他の最先端モデルと同等の水準にあります。

一般消費者向けの「Auto Browse in Chrome」はブラウザ専用です。Windows、macOS、ChromeOS、Android上のChrome内で予約、ショッピング、フォーム入力が可能で、購入や投稿の前に一時停止する機能もありますが、デスクトップアプリを開くことはできません。GoogleはComputer Useを、エラーやセキュリティ上の脆弱性を含む可能性がある「プレビュー」版と位置づけており、プロンプトインジェクション検知機能はデフォルトでオフになっています。開発者にとっては構築の基盤として強力かつ手頃な価格のモデルですが、それ以外のユーザーにとっては、現時点でダウンロードして使えるデスクトップエージェントではありません。

主な強み

  • Flash価格で利用可能な、最先端レベルのOSWorld-Verifiedスコア(78.4%)を達成。
  • APIを通じてデスクトップ操作の全機能を利用可能。

制限事項

  • 実行ループ、セーフガード、環境の構築とホスティングはユーザー自身が行う必要があります。
  • Auto Browseはブラウザ専用かつ米国限定です。
  • プレビュー版のため、インジェクション検知機能は明示的に有効にする必要があります。

推奨ユーザー

Googleのモデルを使用して独自のコンピュータ操作エージェントを構築したいエンジニアリングチーム向け。

‍

デスクトップAIエージェントを安全に実行する方法

このリストに掲載されているすべてのベンダーが同じリスクについて警告しており、製品全体で対策は一貫しています。

プロンプトインジェクションが最大の脅威です。 画面を読み取るエージェントは、画面上の情報から指示を受ける可能性があります。Webページ、メール、PDFなどに隠しテキストが含まれていると、エージェントがファイルをどこかに送信したり、設定を変更したりするように誘導される恐れがあります。Anthropicは機密性の高いアプリカテゴリをデフォルトでブロックしており、Googleは有効化が必要なインジェクション分類器を提供しています。また、Saiはログインや認証をユーザーの承認に委ねています。どのツールを使用する場合でも、外部に流出したくない情報にアクセスできる状態のエージェントを、信頼できないコンテンツに向けないようにしてください。

無人作業には分離環境を推奨します。 クラウドコンピュータ(Sai)や別のOSセッション(Copilot Actions)を利用すれば、万が一のミスが個人のファイルやセッションに影響を与えることはありません。自分のマシンでエージェントを実行する場合は、専用のユーザーアカウントを作成し、フォルダへのアクセスを制限した上で、エージェントが読み取れないパスワードマネージャーに認証情報を保管してください。

取り返しのつかない操作には承認プロセスを必須にしてください。 支払い、メッセージの送信、ファイルの削除、アカウント設定の変更などは、人間が確認するまで一時停止すべきです。実際のワークフローでツールを信頼する前に、この機能がサポートされているか確認してください。例えば、OpenClawにはアクションごとの確認機能がありません。

すべてをログに記録してください。 エージェントが何を行ったかのスクリーンショットや操作の軌跡は、監査証跡およびデバッグツールとなります。ベンチマークの数値を評価する際に、ベンダーが公開している操作の軌跡が重要視されるのはこのためです。

‍

マウスとキーボードを操作するAIエージェントの選び方

Saiを選ぶべきケース: 複数のアプリケーションにまたがる作業が必要な場合、APIのないソフトウェアを操作する場合、スケジュール実行が必要な場合、あるいはノートPCを閉じた後も処理を継続させる必要がある場合です。また、タスクごとの料金が公開されている唯一の選択肢であり、ワークフローを月に数百回実行するような場合には重要な判断基準となります。

Claude computer useを選ぶべきケース: すでにClaude ProまたはMaxを契約しており、MacやPC上で短時間のタスクを監視下で任せたい場合です。

ChatGPT Work Computer Useを選ぶべきケース: 組織としてChatGPTを標準導入しており、主にMacを使用していて、バックグラウンド実行が必要な場合です。

Perplexity Personal Computerを選ぶべきケース: Macユーザーで、リサーチから始まり、最終的にメールやFinderといったネイティブアプリで作業を完結させる場合です。

UI-TARS DesktopまたはAgent S3を選ぶべきケース: オープンソースを求めている場合です。すぐに使えるデスクトップアプリならUI-TARS、より高いベンチマーク結果と開発の基盤となるフレームワークを求めるならAgent S3が適しています。

Copilot Actionsを選ぶべきケース: Windows Insiderプログラムに参加しており、OSネイティブなエージェントに興味があり、実験的な機能であることを許容できる場合です。

OpenClawまたはGemini APIを選ぶべきケース: 開発者として独自のスタックを構築しており、サンドボックス環境や承認プロセスを自ら管理する準備ができている場合です。

Stop doing repetitive tasks. Let Sai handle them for you.

Sai is your AI computer use agent — it operates your apps, automates your workflows, and gets work done while you focus on what matters.

Try Sai

よくある質問