죄송합니다!양식을 제출하는 중에 문제가 발생했습니다.
2026년 현재 마우스와 키보드를 제어하는 최고의 AI 에이전트는 Simular의 Sai입니다.이 에이전트는 프라이빗 클라우드 컴퓨터나 사용자의 Mac 또는 Windows 기기에서 실제 데스크톱 환경(앱, 브라우저, 파일, 터미널)을 엔드투엔드로 제어하며, 이 분야에서 유일하게 작업당 비용을 공개하고 있습니다. Claude의 컴퓨터 사용(Computer Use) 기능은 눈앞의 컴퓨터에서 일상적인 작업을 수행하는 데 가장 강력한 선택지이며, ChatGPT Work의 Computer Use는 OpenAI 생태계에서 가장 유사한 기능을 제공합니다. 오픈소스 옵션으로는 UI-TARS Desktop과 Agent S3를 고려해 볼 만합니다.
이 가이드는 시중에 나와 있는 대부분의 "컴퓨터 제어 AI" 요약 정보보다 의도적으로 범위를 좁혔습니다. 실제 데스크톱 환경에서 커서를 움직이고 타이핑을 수행하는 도구만을 포함했으며, 각 도구가 사용자의 로컬 데스크톱에서 작동하는지, 공급업체가 호스팅하는 클라우드 컴퓨터에서 작동하는지, 혹은 둘 다 지원하는지 명시했습니다. 브라우저 전용 에이전트, 명령줄 에이전트, GUI를 전혀 건드리지 않는 클라우드 샌드박스는 이 목록에서 제외된 이유와 함께 별도의 섹션에서 다룹니다. 모든 가격, 플랫폼 및 벤치마크 수치는 2026년 10월 기준으로 공급업체의 공식 페이지 또는 공식 OSWorld 리더보드를 확인했습니다.
마우스와 키보드를 제어하는 AI 에이전트는 컴퓨터 화면을 캡처하고, 비전-언어 모델을 사용하여 다음에 수행할 작업을 결정한 뒤, 사람이 하는 것처럼 직접 클릭, 스크롤, 드래그, 타이핑을 통해 작업을 수행하는 소프트웨어입니다. API가 아닌 픽셀 단위로 작동하기 때문에 기존 데스크톱 소프트웨어, 사내 도구, 연동 기능이 전혀 없는 웹사이트 등 그래픽 인터페이스가 있는 모든 애플리케이션을 조작할 수 있습니다.
이 가이드에 소개된 모든 제품은 '화면 관찰, 목표 추론, 입력 장치를 통한 실행, 재관찰'이라는 동일한 루프를 따릅니다. 차이점은 이 루프가 어디에서 실행되는지(사용자의 기기 또는 클라우드 컴퓨터), 수백 단계의 작업 과정에서 모델이 얼마나 신뢰할 수 있는지, 에이전트와 돌이킬 수 없는 작업 사이에 어떤 안전장치가 마련되어 있는지, 그리고 작업 완료당 비용이 얼마인지에 있습니다.
연구 논문이나 벤치마크에서 흔히 볼 수 있는 용어는 "컴퓨터 사용 에이전트(computer use agent)" 또는 "GUI 에이전트"입니다. 더 자세한 배경 지식을 원하시면 다음 설명을 참조하세요. 컴퓨터 사용이란 무엇이며 AI 에이전트는 어떻게 컴퓨터를 조작하는가을 제공합니다.
대부분의 기사는 서로 다른 세 가지 제품을 혼동하여 다룹니다. 먼저 이들을 구분하는 것만으로도 구독료 낭비를 막을 수 있습니다.
1. 사용자의 데스크톱을 직접 제어하는 에이전트 에이전트가 사용자의 컴퓨터에서 실행되며 실제 마우스와 키보드를 조작합니다(최신 macOS 빌드에서는 백그라운드 창을 통해 제어). 에이전트가 수행하는 작업을 직접 볼 수 있고, 로그인된 앱과 파일을 사용할 수 있지만, 노트북이 절전 모드로 전환되면 에이전트도 멈춥니다. Claude의 컴퓨터 사용, ChatGPT Work의 Computer Use, Perplexity Personal Computer, UI-TARS Desktop, Agent S3, OpenClaw의 컴퓨터 사용 노드, 그리고 기기 직접 연결 모드의 Sai가 이 방식으로 작동합니다.
2. 클라우드 컴퓨터를 제어하는 에이전트 에이전트가 클라우드상의 별도 Windows 또는 Linux 데스크톱 환경에서 실행됩니다. 몇 시간 동안 작동하거나 여러 작업을 병렬로 처리할 수 있고, 사용자의 기기가 꺼져 있어도 계속 작업할 수 있지만, 로컬 파일이나 세션에 자동으로 접근할 수는 없습니다. Sai의 기본 모드와 Microsoft의 Copilot Actions(사용자 PC 내 별도의 Windows 세션)가 여기에 해당합니다.
3. 브라우저만 제어하는 에이전트 DOM이나 스크린샷을 통해 Chrome 탭을 제어하며, 데스크톱 앱, 파일 관리자, 터미널은 열 수 없습니다. Browser Use, Chrome의 Gemini Auto Browse, 서비스가 종료된 ChatGPT Atlas 에이전트 모드가 그 예입니다. 유용하기는 하지만, 이 기사에서 다루는 마우스 및 키보드 제어 에이전트의 범주에는 포함되지 않습니다.
어떤 제품이든 다음 질문을 던져보세요. "Excel, 기존 ERP 클라이언트, 또는 Finder 창을 열고 그 안을 클릭할 수 있는가?" 답변이 '아니오'라면, 해당 제품은 세 번째 범주에 속합니다.
각 도구는 중요도 순으로 다음 다섯 가지 기준에 따라 평가했습니다.
플랫폼 가용성 및 가격 정보는 2026년 10월 10일 기준 각 업체의 공식 문서와 가격 페이지를 참조했습니다. 벤치마크 수치는 OSWorld 팀이 발행한 공식 OSWorld-Verified 리더보드 파일이나 각 업체의 자체 보고서에서 가져왔으며, 출처를 각각 명시했습니다. 이 기사의 내용은 어떠한 후원도 받지 않았습니다.
가격: 무료 일일 크레딧이 포함된 체험 플랜; 종량제 월 50달러(50,000 크레딧); Sai 무제한 월 500달러; 기업용 맞춤형 플랜. 플랫폼: 클라우드 컴퓨터(Windows 또는 Linux) 또는 사용자 본인의 Mac이나 Windows 기기. 제어 범위: 전체 운영 체제상의 데스크톱 앱, 브라우저, 파일 시스템 및 터미널.
Sai 는 '브라우저 탭이 아닌 컴퓨터 자체를 에이전트에게 맡긴다'는 단순한 전제에서 시작되었습니다. 사용자가 평이한 언어로 작업을 설명하면, Sai는 웹 포털, 데스크톱 회계 프로그램, 스프레드시트, PDF 폴더 등 작업에 필요한 모든 애플리케이션을 넘나들며 클릭과 타이핑을 통해 업무를 수행합니다. OS 접근성 데이터와 시각적 그라운딩(visual grounding)을 결합하여, 화면에 버튼 라벨이 있을 때는 이를 인식하고, 없을 때는 픽셀을 분석하여 버튼을 찾아냅니다.
배포 방식의 선택은 Sai와 아래 소개될 데스크톱 전용 도구들을 구분 짓는 핵심 요소입니다. 기본적으로 Sai는 자체 클라우드 가상 머신에서 실행되므로 노트북을 켜둘 필요가 없습니다. 50달러 플랜을 사용하면 최대 5대의 클라우드 컴퓨터를 동시에 실행할 수 있으며, 실행 시간만큼만 비용이 청구됩니다. 로컬 파일이나 로그인 세션이 필요한 작업이라면 '기기 직접 연결(bring-your-own-device)' 모드로 전환하여 Sai가 사용자의 Mac이나 Windows 기기를 직접 조작하게 할 수 있으며, 이때는 AI 사용량만 크레딧에서 차감됩니다. 팀 단위 업무에 있어 이는 '내가 감독해야 하는 보조자'와 '업무를 맡길 수 있는 직원'의 차이를 만듭니다. 동일한 엔진이 개발자에게는 다음을 통해 제공됩니다. Sai API 및 MCP 서버, 따라서 Claude Code나 Cursor와 같은 코딩 에이전트가 GUI 단계를 위임할 수 있습니다.
신뢰성과 비용 측면에서 Simular는 이 목록의 다른 제품들이 공개하지 않는 수치를 제시합니다. 표준 컴퓨터 사용 벤치마크의 장기 실행 버전인 OSWorld 2.1에서, Simular는 Sai가 작업당 14.34달러의 비용으로 77.3%의 부분 점수(반복 실행 시 79.4%)를 기록했다고 보고합니다. 이는 Claude Opus 5의 77.67%와 대등하면서도 더 낮은 비용이라고 설명합니다. 전체 보고서, 궤적 및 방법론은 공개되어 있습니다. 이는 공식 OSWorld 리더보드에 등재된 항목이 아니라 공급업체가 보고한 수치이지만, 여기에 소개된 제품 중 유일하게 작업당 비용이 공개된 사례이며, 기반이 되는 Agent S 연구는 OSWorld-Verified에 독립적으로 등재되어 있습니다(항목 6 참조).
무인 사용을 위해 두 가지 설계 선택이 중요합니다. 첫째, 승인 절차입니다. 로그인, 비밀번호, 전화 인증 등은 에이전트가 직접 처리하는 대신 사용자에게 승인 단계로 전달됩니다. 둘째, 재실행 기능입니다. Sai가 절차를 파악하면, 인터페이스가 변경되어 적응이 필요한 상황이 오기 전까지 매번 다시 추론할 필요 없이 일정이나 트리거에 따라 해당 절차를 반복 실행할 수 있습니다. 바로 이 점이 Sai를 다음과 같은 작업에 적합하게 만듭니다. 매달 은행 명세서 다운로드,스프레드시트의 데이터를 동일한 온라인 양식에 입력, 또는 작성된 운영 매뉴얼(runbook)을 예약된 작업으로 전환을 제공합니다.
여러 앱을 넘나드는 작업, 특히 반복적인 업무나 레거시 소프트웨어 작업을 자동화하여 관리 감독 없이 실행하고자 하는 팀 및 개인.
가격: Claude Pro(월 20달러 또는 연간 결제 시 월 17달러) 또는 Max(월 100달러부터) 요금제가 필요합니다. 작성 시점 기준으로 Team 또는 Enterprise 플랜에서는 사용할 수 없습니다. 플랫폼: macOS 및 Windows 데스크톱 앱; macOS 15 이상에서는 백그라운드 모드 지원. 제어 범위: 스크린샷을 통해 사용자의 데스크톱, 앱 및 브라우저를 제어합니다.
Anthropic은 2026년 3월 Claude 데스크톱 앱에 컴퓨터 사용 기능을 처음 도입했습니다. 이후 macOS와 Windows를 지원하기 시작했으며, 2026년 9월에는 Mac용 백그라운드 모드를 추가하여 사용자의 포인터를 방해하지 않고도 현재 작업 중인 창 뒤에서 Claude가 작업할 수 있게 되었습니다. 설정에서 이 기능을 켜고 접근성 및 화면 기록 권한을 부여하면, Claude가 앱을 열고 클릭, 타이핑, 화면 탐색을 수행하여 요청한 작업을 완료합니다. 터미널의 Claude Code에서도 macOS에서 동일한 기능을 사용할 수 있습니다.
이 기능의 매력은 수백만 명이 이미 사용하는 도구에 내장되어 있다는 점과, 기반 모델이 이러한 작업에 매우 뛰어나다는 점입니다. 공식 OSWorld-Verified 리더보드(2026년 8월 기준)에서 Anthropic의 모델인 claude-fable-5(85.96%)와 claude-opus-5(83.39%)가 상위권을 차지하고 있습니다. 단, 이는 벤치마크를 위해 구축된 환경에서의 모델 점수이며, 일반 소비자용 데스크톱 기능의 실제 결과와는 다를 수 있습니다.
사용자의 기기를 공유하는 에이전트인 만큼 예상되는 제약 사항들이 있습니다. 컴퓨터가 켜져 있고 앱이 실행 중이어야 하며, 한 번에 하나의 컴퓨터 사용 세션만 실행할 수 있습니다. macOS 백그라운드 모드를 사용하지 않는 한 Claude가 작업하는 동안 다른 앱은 숨겨지며, 거래 및 암호화폐 관련 앱과 같은 카테고리는 기본적으로 차단됩니다. Anthropic은 Claude와 사용자 애플리케이션 사이에 샌드박스가 없음을 명시하고 있으며, 따라서 사용자가 직접 지켜볼 수 있는 작업에 이 기능을 사용할 것을 권장합니다.
자신의 Mac이나 PC에서 짧고 감독이 필요한 작업을 위임하려는 개인 Claude 구독자.
가격: ChatGPT Plus는 월 20달러, Pro 등급은 월 100달러, 200달러, 500달러입니다. OpenAI 문서에 따르면 컴퓨터 사용 기능은 ChatGPT Work 및 Codex에서 사용할 수 있다고 명시되어 있으나, 어떤 요금제 등급에서 이 기능이 제공되는지는 명시되어 있지 않습니다. 플랫폼: macOS 및 Windows 데스크톱 앱. 제어 범위: 사용자 본인의 데스크톱 GUI; macOS에서만 백그라운드 실행 가능.
OpenAI의 컴퓨터 제어 2026년에 완전히 달라진 이야기입니다. 클라우드 브라우저 기반의 "ChatGPT 에이전트"(구 Operator)는 서비스가 종료되었으며, Atlas 브라우저의 에이전트 모드 역시 2026년 8월 9일부로 지원이 중단되었습니다. 이를 대체한 것은 2026년 7월 출시된 ChatGPT Work의 '컴퓨터 사용(Computer Use)' 기능입니다. 이제 ChatGPT 데스크톱 앱이 Mac이나 PC의 그래픽 인터페이스를 직접 보고 조작하며, 사용자를 대신해 클릭, 타이핑, 앱 탐색을 수행할 수 있습니다.
macOS에서는 백그라운드에서 특정 작업을 수행할 수 있으며, 작업을 이어가기 위해 일시적으로 Mac 잠금을 해제할 수도 있습니다. OpenAI는 이를 의도적으로 제한된 범위의 기능이라고 설명합니다. Windows에서의 구현은 더 제한적입니다. 에이전트가 포그라운드에서 포인터를 움직이고 타이핑을 하기 때문에, 작업이 진행되는 동안 동일한 세션을 계속 사용할 수 없으며 기기는 잠금 해제 상태로 온라인을 유지해야 합니다. 터미널 앱이나 ChatGPT 자체는 자동화할 수 없으며, 관리자 권한이나 보안 관련 프롬프트를 승인하는 기능도 지원하지 않습니다.
조직 내에서 이미 ChatGPT를 표준으로 사용하고 있다면, 데스크톱 제어 기능을 도입하는 가장 자연스러운 방법입니다. 신뢰성 측면에서 OpenAI의 현재 소비자용 페이지에는 OSWorld 수치가 명시되어 있지 않습니다. 2025년 7월 기준, 이전 버전인 '컴퓨터 사용 프리뷰' 모델은 OSWorld-Verified에서 31.4%를 기록했고, 2026년 5월 Google 모델 카드에 따르면 GPT-5.5는 78.7%를 기록했습니다. 즉, 기반이 되는 성능은 크게 향상되었으나 해당 제품 기능 자체에 대한 측정된 수치는 공개되지 않았습니다.
추가 구독 없이 백그라운드 앱 제어를 원하는 ChatGPT 플랜 사용 중인 Mac 사용자.
가격: Perplexity Pro 월 20달러 또는 Max 월 200달러(연 2,000달러). 플랫폼: macOS 15 Sequoia 이상 전용; 상시 실행을 위해 Mac mini 권장. 제어 범위: 로컬 파일, Mac 기본 앱 및 Comet 브라우저.
Perplexity 는 "Computer"라는 이름으로 두 가지 제품을 판매합니다. 2026년 2월에 출시된 Perplexity Computer는 각 작업을 고유한 파일 시스템과 브라우저를 갖춘 격리된 환경에서 실행하는 클라우드 디지털 워커입니다. 2026년 4월에 출시되어 5월부터 모든 Mac 사용자에게 공개된 Personal Computer는 이 목록에 포함되는 제품으로, Mail, Finder, Slack 및 기타 기본 앱을 직접 조작하고 백그라운드에서 작동하며 음성 입력을 받고 iPhone에서 원격으로 제어할 수 있는 Mac 앱입니다.
강점은 Perplexity의 리서치 엔진과 로컬 작업의 결합입니다. 최근 송장 3개를 찾아 합계를 Numbers로 가져와 이메일 초안을 작성하라고 요청하면 관련 앱 전반에서 작업을 수행합니다. Perplexity의 자체 페이지에는 기본 앱 운영 및 민감한 단계에 대한 기기 내 승인 방식이 설명되어 있지만, Anthropic이나 ByteDance처럼 마우스와 키보드 제어 메커니즘을 구체적으로 명시하지는 않습니다.
한계는 플랫폼입니다. Mac 전용이며 macOS 15 이상이 필요하고, Windows 버전은 문서화되어 있지 않습니다. 브라우징은 기본 브라우저가 아닌 Perplexity의 별도 Comet 브라우저를 통해 이루어지며, 공개된 벤치마크 결과는 없습니다.
이미 Perplexity를 사용 중이며, 단순 답변을 넘어 직접적인 실행까지 원하는 Mac 기반 지식 노동자.
가격: 무료, Apache-2.0 라이선스; 모델 API 키는 직접 제공해야 함. 플랫폼: Windows 및 macOS 데스크톱 앱, 로컬 및 원격 컴퓨터 운영자, 브라우저 운영자. 제어 범위: 스크린샷을 기반으로 로컬 컴퓨터의 마우스와 키보드를 정밀하게 제어합니다.
UI-TARS Desktop 은 "내 마우스와 키보드를 제어하는 AI를 원하며, 그 작동 방식을 직접 확인하고 싶다"는 요구에 대한 가장 직접적인 오픈 소스 해답입니다. 이 앱은 네이티브 GUI 에이전트로, 스크린샷을 찍고 시각적으로 UI 요소를 인식하여 Windows나 macOS에서 실제 클릭과 키 입력을 수행합니다. 동일한 저장소에서 제공되는 Agent TARS는 DOM, GUI, 하이브리드 제어 및 MCP 지원을 포함하는 브라우저 중심 에이전트이며, 원격 운영자를 통해 외부에서 호스팅되는 컴퓨터나 브라우저를 에이전트가 조작할 수 있게 합니다.
UI-TARS는 모델 제품군이기도 하므로 신뢰성이 잘 문서화되어 있습니다. 2025년 9월에 발표된 UI-TARS-2 기술 보고서에 따르면 OSWorld에서 47.5점을 기록했으며, 공식 OSWorld-Verified 리더보드(2025년 10월 기준)에서는 100단계 설정에서 UI-TARS-2-2509 모델이 53.1%를 기록했습니다. 이는 최첨단 폐쇄형 모델보다는 뒤처지지만 대부분의 오픈 소스 대안보다는 앞선 수치이며, 2026년 10월 기준으로 GitHub에서 39,200개의 별을 받았습니다.
이 도구는 즉시 사용 가능한 구독형 서비스가 아니라 구성 가능한 에이전트 스택이라는 점을 유의하십시오. 설정 가이드는 단일 모니터 구성을 기준으로 하며, 프로젝트 뉴스 피드는 2025년 11월 이후 업데이트가 없고 수백 개의 이슈가 열려 있으므로 직접 문제를 해결할 시간을 충분히 확보해야 합니다.
코드를 읽고 수정하며 로컬에서 실행할 수 있는 오픈 소스 데스크톱 에이전트를 원하는 개발자 및 애호가.
가격: 무료, Apache-2.0 라이선스; 모델 API 키(Azure OpenAI, Anthropic, Gemini, OpenRouter 또는 vLLM)는 직접 제공해야 함. 플랫폼: Linux, macOS 및 Windows; 단일 모니터 환경. 제어 범위: 스크린샷과 생성된 입력 동작을 통한 로컬 데스크톱 GUI 제어; 호스트에서의 선택적 코드 실행.
Agent S3 는 Sai의 기반이 되는 오픈 소스 연구 프레임워크이며, 이 목록에서 가장 투명한 실적을 보유하고 있습니다. 공식 OSWorld 검증 리더보드에서 Agent S3는 GPT-5 및 Behavior Best-of-N(2025년 10월) 조합으로 69.9%, Claude Opus 4.5와 GPT-5 및 Behavior Best-of-N(2025년 12월) 조합으로 72.58%를 기록했습니다. 이는 벤치마크의 인간 기준치인 72.36%를 넘어선 수치입니다. Best-of-N을 제외한 단일 실행 시에는 67.46%를 기록합니다. 해당 논문은 TMLR 2026에 채택되었으며, 저장소는 12.2k개의 스타를 받았습니다.
구조적으로는 화면을 관찰하고 pyautogui 스타일의 동작을 수행하는 범용 에이전트입니다. 모듈형 그라운딩 모델(권장 기본값은 UI-TARS-1.5-7B)과 클릭보다 코드로 해결하는 것이 효율적인 작업을 위해 Python이나 Bash를 실행할 수 있는 코드 에이전트를 갖추고 있습니다. 이러한 하이브리드 방식이 높은 점수의 주요 요인이며, 코드 에이전트가 사용자 권한으로 실행되므로 신뢰할 수 있는 환경에서만 사용해야 한다는 README의 경고가 있는 이유이기도 합니다.
데스크톱 에이전트를 구매하는 대신 직접 구축하거나 연구하고 싶다면 Agent S3를 선택하세요. 클라우드 컴퓨터, 승인 절차, 스케줄링 기능을 갖춘 관리형 제품의 성능을 원하신다면 Sai가 적합합니다.
확장하거나 벤치마크 기준으로 삼을 수 있는 선도적인 오픈 프레임워크를 찾는 연구자 및 에이전트 개발자.
플랫폼: Windows 11 전용. 제어 범위: 에이전트 작업 공간(agent workspace)이라는 별도의 Windows 세션 내 앱 및 파일.
Copilot Actions는 "Windows 자체적으로 에이전트를 실행할 수 있는가?"라는 질문에 대한 Microsoft의 답변입니다. Microsoft는 이를 시각 및 추론 기능을 사용하여 사람처럼 클릭, 입력, 스크롤하며 작업을 수행하는 AI 에이전트로 설명합니다. 이 기능의 독특한 설계 결정은 격리입니다. 에이전트는 별도의 Windows 세션 내 전용 에이전트 계정으로 실행되므로 사용자의 데스크톱은 그대로 유지되며, 파일 접근 권한은 별도로 허용하지 않는 한 문서, 다운로드, 바탕 화면, 음악, 사진 및 비디오 폴더로 제한됩니다.
2026년 10월 기준, 이 기능은 2025년 11월부터 Windows 참가자(EEA 지역 제외)를 대상으로 배포되기 시작한 Copilot Labs의 실험적 기능으로 남아 있습니다. 설정 > 시스템 > AI 구성 요소 > 에이전트 도구에서 기본적으로 꺼져 있으며, 관리자만 활성화할 수 있습니다. Microsoft는 이 기능이 제한된 사용 사례를 대상으로 하며 복잡한 인터페이스에서는 어려움을 겪을 수 있다고 밝히고 있습니다. 현재 공개된 벤치마크나 정식 출시일은 확인되지 않았습니다.
정식 출시 전 OS 네이티브 에이전트를 평가하고자 하는 Windows 애호가 및 IT 팀.
가격: 무료, MIT 라이선스, 유료 플랜 없음; 모델 키는 직접 제공해야 합니다. 지원 플랫폼: macOS (Peekaboo 또는 CUA 제공자); Windows 및 Linux는 실험적 플러그인을 통해 지원. 제어 범위: 옵트인(사용자 동의) 방식으로 스크린샷과 마우스/키보드 입력을 통해 연결된 데스크톱을 제어합니다.
OpenClaw 는 사용자의 기기에서 직접 실행되며 WhatsApp, Telegram, Slack, Discord, iMessage 등 20여 개의 채널을 통해 대화할 수 있는 오픈소스 개인 비서입니다. GitHub에서 약 392,000개의 스타를 기록하며 2026년 가장 인기 있는 프로젝트 중 하나로 자리 잡았습니다. 데스크톱 제어가 핵심 기능은 아니지만, 게이트웨이 에이전트가 스크린샷과 마우스/키보드 입력을 통해 연결된 데스크톱을 보고 제어할 수 있게 해주는 '컴퓨터 사용 노드' 기능을 제공합니다.
macOS에서는 '컴퓨터 제어 허용', '손쉬운 사용', '화면 기록' 권한과 시각 인식 모델이 필요합니다. Windows와 Linux의 경우 실험적 플러그인이 주 디스플레이만 제어하며 일부 동작(마우스 누름/떼기, 키 유지, 수정자 키 클릭, 드래그 등)은 지원하지 않습니다. 또한 동작별 확인 절차가 없으며 샌드박스를 직접 설정하지 않으면 도구가 호스트에서 실행되므로, OpenClaw 공식 문서에서는 수신되는 메시지를 신뢰할 수 없는 입력으로 간주할 것을 권장합니다.
이미 메시징 중심 비서로 OpenClaw를 사용 중이라면, 노드를 활성화하여 휴대폰으로 데스크톱을 제어할 수 있습니다. 처음부터 데스크톱 자동화가 목적이라면, 위에 소개된 전용 도구들을 사용하는 것이 더 효율적입니다.
셀프 호스팅 비서를 원하며 도구 정책 및 샌드박스 설정을 직접 구성하는 데 능숙한 기술 사용자.
가격: 표준 Gemini API 토큰 요금제 적용; Chrome의 자동 탐색(Auto Browse) 기능은 미국 내 Google AI Pro 및 Ultra 구독자 전용입니다. 지원 플랫폼: 사용자가 호스팅하는 모든 환경; API가 작업을 반환하면 사용자의 코드가 이를 실행합니다. 제어 범위: OS 수준의 커서 명령을 사용하는 브라우저, 모바일 및 데스크톱 에이전트.
Google의 서비스는 두 가지로 나뉩니다. Gemini 3.5 Flash에 내장되어 최신 Flash 모델용으로 문서화된 Gemini API Computer Use 기능은 OS 수준의 작업(클릭, 더블 클릭, 우클릭, 드래그, 타이핑, 단축키, 스크롤, 스크린샷)을 반환하며, 사용자가 직접 구축한 하니스(harness)를 통해 실행되므로 완제품이라기보다는 빌딩 블록에 가깝습니다. Google의 Gemini 3.5 Flash 모델 카드는 OSWorld-Verified 기준 78.4%(2026년 5월, Google 보고)를 기록했으며, Gemini 3.1 Pro는 76.2%를 기록하여 다른 최첨단 모델들과 동등한 수준을 보여줍니다.
소비자용 기능인 Chrome의 자동 탐색(Auto Browse)은 브라우저 전용입니다. Windows, macOS, ChromeOS, Android의 Chrome 내에서 예약, 쇼핑, 양식 작성이 가능하며 결제나 게시 전 일시 중지 기능을 제공하지만, 데스크톱 앱을 직접 열 수는 없습니다. Google은 Computer Use를 오류와 보안 취약점이 포함될 수 있는 '미리보기(Preview)' 단계로 분류하고 있으며, 프롬프트 주입 탐지 기능은 기본적으로 꺼져 있습니다. 개발자에게는 구축 기반으로 활용하기 좋은 합리적인 가격의 강력한 모델이지만, 일반 사용자에게는 아직 다운로드하여 바로 사용할 수 있는 데스크톱 에이전트가 아닙니다.
Google 모델을 기반으로 맞춤형 컴퓨터 사용 에이전트를 조립하려는 엔지니어링 팀.
이 목록에 있는 모든 공급업체는 동일한 위험을 경고하고 있으며, 제품 전반에 걸쳐 완화 조치 또한 일관되게 적용됩니다.
프롬프트 주입이 가장 큰 위협입니다. 화면을 읽는 에이전트는 화면을 통해 지시를 받을 수 있습니다. 웹 페이지, 이메일, PDF에는 에이전트에게 파일을 특정 위치로 전송하거나 설정을 변경하도록 지시하는 숨겨진 텍스트가 포함될 수 있습니다. Anthropic은 민감한 앱 카테고리를 기본적으로 차단하며, Google은 사용자가 직접 활성화해야 하는 주입 분류기를 제공하고, Sai는 로그인 및 인증 요청을 사용자에게 보내 승인을 받도록 합니다. 어떤 도구를 사용하든, 유출되어서는 안 될 정보에 접근할 수 있는 에이전트를 신뢰할 수 없는 콘텐츠에 연결하지 마십시오.
무인 작업 시에는 격리된 환경을 우선적으로 사용하십시오. 클라우드 컴퓨터(Sai)나 별도의 OS 세션(Copilot Actions)을 사용하면 오류가 발생하더라도 개인 파일이나 세션에 영향을 주지 않습니다. 에이전트를 자신의 컴퓨터에서 실행하는 경우, 전용 사용자 계정을 부여하고 폴더 접근 권한을 제한하며, 에이전트가 열 수 없는 비밀번호 관리자에 자격 증명을 보관하십시오.
되돌릴 수 없는 작업에는 반드시 승인 절차를 두십시오. 결제, 메시지 전송, 파일 삭제, 계정 설정 변경과 같은 작업은 사람이 직접 확인한 후 진행해야 합니다. 실제 워크플로우에 도구를 도입하기 전에 이러한 기능을 지원하는지 확인하십시오. 예를 들어, OpenClaw는 작업별 확인 기능을 제공하지 않습니다.
모든 활동을 기록하십시오. 에이전트가 수행한 작업의 스크린샷이나 경로는 감사 추적 및 디버깅 도구로 활용됩니다. 벤치마크 결과를 평가할 때 벤더가 공개한 작업 경로가 중요한 이유도 바로 이 때문입니다.
다음과 같은 경우 Sai를 선택하십시오. 여러 애플리케이션에 걸쳐 작업이 이루어지거나, API가 없는 소프트웨어를 사용하거나, 일정에 맞춰 실행해야 하거나, 노트북을 닫은 후에도 계속 실행되어야 하는 경우입니다. 또한, 한 달에 수백 번씩 워크플로우를 실행할 때 중요한 요소인 작업당 비용이 명시된 유일한 옵션이기도 합니다.
다음과 같은 경우 Claude computer use를 선택하십시오. 이미 Claude Pro 또는 Max를 구독 중이며, Mac이나 PC에서 짧고 감독이 필요한 작업을 위임하고 싶은 경우입니다.
다음과 같은 경우 ChatGPT Work Computer Use를 선택하십시오. 조직 내에서 ChatGPT를 표준으로 사용하고 있으며, 주로 백그라운드 실행을 지원하는 Mac 환경에서 작업하는 경우입니다.
다음과 같은 경우 Perplexity Personal Computer를 선택하십시오. Mac을 사용 중이며, 리서치로 시작해 Mail이나 Finder 같은 기본 앱에서 마무리되는 작업을 주로 수행하는 경우입니다.
다음과 같은 경우 UI-TARS Desktop 또는 Agent S3를 선택하십시오. 오픈 소스를 선호하는 경우로, 바로 사용할 수 있는 데스크톱 앱을 원하면 UI-TARS를, 더 강력한 벤치마크 결과와 개발을 위한 프레임워크가 필요하면 Agent S3를 선택하십시오.
다음과 같은 경우 Copilot Actions를 선택하십시오. Windows Insider 사용자로서 OS 네이티브 에이전트에 관심이 있고, 실험적인 기능을 사용하는 데 거부감이 없는 경우입니다.
OpenClaw 또는 Gemini API를 선택하세요. 직접 스택을 구축하는 개발자이며, 샌드박싱과 승인 절차를 직접 관리할 준비가 되어 있는 경우라면 말이죠.