컴퓨터 사용 API란 무엇인가요?
컴퓨터 사용 API는 AI 모델이 사람처럼 컴퓨터를 조작할 수 있게 해줍니다. 화면을 보고 클릭, 타이핑, 스크롤, 명령어 실행 등을 수행하여 작업을 완료합니다. 자체 API가 없는 레거시 데스크톱 앱이나 사내 포털과 같은 소프트웨어에 접근할 수 있습니다(GUI 에이전트가 필요한 이유).
컴퓨터 사용 API는 크게 두 가지 형태로 나뉩니다. 모델 레벨 도구 (Anthropic, OpenAI, Google)는 동작을 반환하며, 사용자가 직접 머신을 호스팅하고 루프를 실행해야 합니다. 관리형 에이전트 API (Sai, Amazon Nova Act, Browser Use Cloud)는 머신과 루프를 대신 실행하고 결과만 반환합니다.
추천 선택지
- 전체 데스크톱 작업을 위한 최고의 관리형 API: Simular의 Sai API
- 데스크톱 제어를 위한 최고의 모델 레벨 도구: Anthropic 컴퓨터 사용
- 코드 기반 자동화에 최적: OpenAI 컴퓨터 사용
- 브라우저 및 Android 제어에 최적: Gemini 컴퓨터 사용
- 브라우저 자동화를 수행하는 AWS 팀을 위한 최적의 선택: Amazon Nova Act
- 최고의 오픈소스 브라우저 에이전트: Browser Use
- 최고의 오픈 웨이트 GUI 모델: UI-TARS-2
- 최고의 오픈소스 데스크톱 에이전트 프레임워크: Agent S
엔지니어링 리드, 플랫폼 팀, 기술 창업자가 컴퓨터 사용 API를 선택할 때 객관적이고 실행 가능한 평가를 제공하기 위해, 당사의 평가 프레임워크는 각 플랫폼을 5가지 표준화된 운영 기준에 따라 평가했습니다:
- 환경 커버리지 및 네이티브 데스크톱 도달 범위: 해당 API가 Windows, macOS, Linux에서 전체 데스크톱 애플리케이션을 운영할 수 있는지, 아니면 브라우저 탭이나 단일 Linux 컨테이너로 제한되는지 확인합니다. 또한 레거시 업무용 소프트웨어, 내부 포털, Android까지 지원하는지, 아니면 공개 웹사이트만 지원하는지 평가합니다.
- 장기 작업에 대한 벤치마크 검증 신뢰성: 시스템이 실제 컴퓨터 작업에 대한 표준화된 평가에서 어떤 성능을 보이는지 확인해 보았습니다. 예를 들어 OSWorld 1.0, 장기 작업 중심의 OSWorld 2.0, WindowsAgentArena 및 AndroidWorld 등이 있습니다. 저희는 어떤 벤치마크 버전이 사용되었는지, 누가 각 점수를 보고했는지 기록하며, 단 한 번의 운 좋은 결과보다는 전체 작업 완료율과 반복 실행 시의 일관성에 더 큰 비중을 두었습니다.
- 인프라 소유권 및 개발자 오버헤드: 머신을 누가 프로비저닝하고 운영하나요? API가 관리되는 컴퓨터에서 완료된 결과를 반환하나요, 아니면 팀에서 직접 가상 디스플레이, 스크린샷 루프, 작업 핸들러, 세션 상태 및 오류 복구 기능을 처음부터 구축해야 하나요?
- 총 소유 비용 및 가격 투명성: 저희는 실제 상업적 비용을 분석했습니다. 토큰당 모델 가격, 시간당 또는 작업당 과금, 자체 운영 모델을 위한 호스팅 및 GPU 비용, 그리고 공개된 작업당 비용 데이터를 포함합니다. 또한 반복적인 워크플로우가 시간이 지남에 따라 저렴해지는지, 아니면 매 실행마다 전체 추론 비용을 지불해야 하는지도 확인했습니다.
- 안전 가드레일, 인간 개입(Human-in-the-Loop) 및 거버넌스: 결제, 계정 변경, 메시지 발송과 같은 중요한 작업을 수행하기 전에 플랫폼이 사람의 승인을 받기 위해 일시 중지하나요? 프롬프트 주입 방어, 격리된 실행 환경, 데이터 보존 제어 및 프로덕션 환경에 적합한 감사 기능을 제공하나요?
Computer use apis comparison table · HTML
Best computer use APIs compared (October 2026)
| API | Type | Who runs the machine | Environments | Status | Starting pricing |
|---|
| Sai APIby Simular | Managed agent | Simular cloud, or your own Mac/Windows device | Windows and Linux cloud computers; Mac and Windows devices | Generally available | Free; $50/mo usage; $500/mo unlimited |
|---|
| Anthropic computer useClaude | Model-level tool | You | Any desktop you host (reference Docker image) | Production | Per-token API pricing |
|---|
| OpenAI computer useResponses API | Model-level tool | You | Browser (Playwright) or desktop (PyAutoGUI) | Available | Per-token API pricing |
|---|
| Gemini computer useGoogle | Model-level tool | You | Browser, Android, desktop | Preview | Per-token API pricing |
|---|
| Amazon Nova ActAWS | Managed agent | AWS (Bedrock AgentCore) | Browser | GA since Dec 2, 2025 | $4.75 per agent hour |
|---|
| Browser UseOpen source + cloud | Library + managed cloud | You, or Browser Use Cloud | Browser | Available (MIT license) | Free library; cloud = model cost +20% plus browser time |
|---|
| UI-TARS-2ByteDance | Open-weight model | You (GPU hosting) | Desktop, browser, Android | Open (Apache-2.0) | Free weights; your compute |
|---|
| Agent Sby Simular | Open-source framework | You | Desktop (Linux, macOS, Windows) | Open (Apache-2.0) | Free; you pay your model costs |
|---|
최고의 컴퓨터 사용 API 8선
1. Simular의 Sai API — 전체 데스크톱 작업을 위한 최고의 관리형 API
이 Sai API 는 Simular의 컴퓨터 사용 에이전트인 Sai에게 작업을 전송하고 진행 상황과 결과를 스트리밍 방식으로 반환합니다. Sai는 Simular 클라우드 컴퓨터나 사용자의 Mac 또는 Windows 머신에서 실행되며, 데스크톱 앱, 브라우저, 파일 시스템 및 터미널 전반에서 작동합니다(Sai 가격 FAQ).
- 작동 방식: 작업을 게시하려면
/v1/agents/message으로 요청을 보낸 후, /v1/agents/events 를 통해 세션이 유휴 상태가 될 때까지 서버 전송 이벤트(SSE)를 팔로우하세요(문서). MCP 서버인 @simular-ai/sai-mcp는 Sai를 Claude Code, Codex 및 Cursor에 연결합니다. - 아키텍처: 최첨단 모델과 전문 모델을 혼합하여 사용하며, UI 요소 위치 파악 및 결과 검증에는 전문 모델을 활용합니다. Sai는 Simulang 코드로 더 긴 하위 작업을 계획하며, 순수 모델 대비 약 1.5배 적은 모델 호출을 사용합니다(Simular).
- 반복 작업 비용: 해결된 작업은 코드로 컴파일되어 재실행됩니다. Simular는 반복적인 워크플로우에서 토큰 사용량을 90% 이상 절감하고 비용을 최대 약 200배까지 낮출 수 있다고 보고합니다(Simular).
- 벤치마크: OSWorld 2.0에서 작업당 15.70달러의 비용으로 73.0%의 부분 점수 기록 (Simular 기준).
- 안전성: 민감한 작업은
data-approval-request 이벤트를 발생시킵니다. POST /approve 를 통해 승인하거나 담당자를 approvalUrl로 보내세요. - 제한 사항: 사용자당 시간당 60개 메시지, 업로드 파일당 25MB 제한 (Simular).
- 가격: 공유 Windows 클라우드 컴퓨터를 포함한 무료 플랜, 월 50달러 종량제, 월 500달러 무제한 플랜 (가격).
- 트레이드오프: 원시 모델 액세스가 아닌 관리형 에이전트 방식이므로, 개별적인 저수준 작업을 직접 제어할 수 없습니다.
# Base URL per sai.work/api; confirm before publishing
curl -X POST "https://api.sai.simular.ai/v1/agents/message" \
-H "Authorization: Bearer $SAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"message": "Download the Q3 sales report from the internal portal, total each column in Excel and save it.", "wait": false}'
# Then stream progress and results
curl -N "https://api.sai.simular.ai/v1/agents/events?sessionId=<sessionId>" \
-H "Authorization: Bearer $SAI_API_KEY"
2. Anthropic 컴퓨터 사용 — 데스크톱 제어를 위한 최고의 모델 수준 도구
Anthropic의 컴퓨터 사용 도구 는 Claude에게 스크린샷 확인 및 마우스와 키보드 제어 권한을 제공합니다. 현재의 computer_toolset_20260801 은 17개의 도구로 구성된 프로덕션 툴셋으로, screenshot, left_click, type 및 zoom을 포함하며 베타 헤더가 없습니다.
- 모델: Claude Opus 4.8, 5 및 5.5; Sonnet 5 및 5.5; Fable 5/5.1 및 Mythos 5/5.1.
- 플랫폼: Claude API, Google Cloud Vertex AI 및 Amazon Bedrock; AWS 및 Microsoft Foundry(베타).
- 구축 항목: 샌드박스 환경(Anthropic의 레퍼런스는 가상 X11 디스플레이가 포함된 Docker를 사용), 에이전트 루프 및 작업 핸들러. A 참조 구현 을 통해 시작할 수 있습니다.
- 안전: 프롬프트 인젝션 분류기가 자동으로 실행됩니다. Anthropic은 권한이 낮은 VM 사용, 도메인 허용 목록 설정, 그리고 중요한 작업 수행 시 사람의 확인 절차를 거칠 것을 권장합니다. 컴퓨터 사용 기능은 데이터 보존이 이루어지지 않는 제로 데이터 리텐션(zero-data-retention) 대상입니다.
- 장단점: 최대의 제어 권한과 강력한 추론 능력을 제공하지만, 인프라, 세션 상태 및 복구 로직은 직접 관리해야 합니다.
3. OpenAI 컴퓨터 사용 — 코드 기반 자동화에 최적
OpenAI의 컴퓨터 사용 API 는 두 가지 방식을 지원합니다. 모델이 Playwright나 PyAutoGUI를 구동하는 코드를 직접 작성하거나, computer 도구를 통해 구조화된 마우스 및 키보드 동작을 반환합니다. OpenAI는 코드 기반 방식에 GPT-6 Astra 사용을 권장합니다.
- 환경: 브라우저(Playwright 샘플) 및 데스크톱(PyAutoGUI 샘플).
- 구축 내용: 격리된 환경, API 루프, 스크린샷 캡처 및 안전 제어 장치.
- 참고: 많은 구형 목록에서 여전히 다루고 있는 소비자 에이전트인 Operator는 ChatGPT 에이전트로 통합되었으며 2025년 8월 31일에 서비스가 종료되었습니다(OpenAI).
- 트레이드오프: 코드 작성 방식은 반복적인 흐름에는 효율적이지만, 런타임을 직접 유지 관리해야 합니다.
4. Gemini 컴퓨터 사용 — 브라우저 및 Android에 최적
Google의 컴퓨터 사용 도구 는 정규화된 0~999 좌표를 사용하여 브라우저, 모바일(Android), 데스크톱 환경 전반에서 작동합니다. Gemini 3.8 Flash 모델을 권장하며, 컴퓨터 사용 기능은 2026년 6월 Gemini 3.5 Flash와 함께 내장 도구로 도입되었습니다.
- 안전성: 결제, 민감한 데이터 변경, 커뮤니케이션, 계정 생성, 법적 계약 시 사용자 확인을 요청하는 정책이 내장되어 있으며, 프롬프트 인젝션 탐지 기능은 선택 사항입니다.
- 구축 대상: 클라이언트 측 실행 환경이며, Google은 Docker 기반의 참조 환경을 제공합니다.
- 트레이드오프: 아직 프리미어 단계로 분류되며, Google은 "오류 및 보안 취약점이 포함될 수 있음"을 경고하고 있습니다.
5. Amazon Nova Act — 브라우저 자동화를 수행하는 AWS 팀에 최적
Amazon Nova Act 는 QA 테스트, 양식 작성, 데이터 추출과 같은 브라우저 워크플로를 자동화하는 에이전트를 구축하기 위한 관리형 서비스입니다. 2025년 12월 2일에 정식 출시되었으며 Bedrock AgentCore 런타임에 배포됩니다.
- 가격: 활성 작업 시간 기준 상담원 1시간당 4.75달러; 사람의 응답을 기다리는 시간은 제외됨 (Classmethod).
- 장단점: 브라우저 중심; 정식 출시(GA) 시점에는 미국 동부(버지니아 북부) 리전에서만 실행됨.
6. Browser Use — 최고의 오픈소스 브라우저 에이전트
Browser Use 는 모든 LLM을 브라우저에 연결해 주는 MIT 라이선스 기반 라이브러리로, 에이전트와 원격 브라우저를 위한 호스팅 클라우드를 제공합니다. 이 프로젝트는 GitHub 별 11만 7천 개, 월간 다운로드 740만 회를 기록하고 있습니다.
- 벤치마크: BU Bench V1에서 Claude Fable 5는 오픈소스 라이브러리 사용 시 80.0%, Browser Use Cloud 사용 시 78.0%의 점수를 기록했습니다 (Browser Use).
- 가격: 라이브러리는 무료; 클라우드 에이전트는 모델 가격에 20% 추가 및 브라우저 사용 시간당 비용 발생; 브라우저 비용은 시간당 0.02달러부터 시작.
- 장단점: 브라우저 전용; 네이티브 데스크톱 앱 미지원.
7. ByteDance의 UI-TARS-2 — 최고의 오픈 웨이트 GUI 모델
UI-TARS 은 Apache-2.0 라이선스를 따르는 GUI 에이전트 모델 제품군입니다. UI-TARS-2(2025년 9월)는 OSWorld에서 47.5%, WindowsAgentArena에서 50.6%, AndroidWorld에서 73.3%, Online-Mind2Web에서 88.2%의 성능을 기록했습니다(arXiv). UI-TARS-1.5-7B 모델은 단일 GPU에서 구동될 만큼 가볍습니다.
- 적합한 용도: 온프레미스 또는 폐쇄망(air-gapped) 환경 배포 및 연구.
- 트레이드오프: 모델, 환경, 복구 로직을 직접 호스팅해야 합니다.
8. Simular의 Agent S — 최고의 오픈소스 데스크톱 에이전트 프레임워크
Agent S 는 사람이 컴퓨터를 사용하는 방식과 동일하게 작동하는 에이전트를 위한 Simular의 Apache-2.0 프레임워크로, 다음 명령어로 설치할 수 있습니다. pip install gui-agents. Linux, macOS, Windows에서 실행되며, 메인 모델(OpenAI, Anthropic, Gemini 등)과 UI-TARS와 같은 그라운딩 모델을 결합하여 사용합니다.
- 벤치마크: Agent S3는 OSWorld 1.0에서 best-of-N 선택 방식을 통해 72.6%를 기록하여 인간 기준치인 72.36%를 상회했습니다. 또한 100단계 기준 단독 실행 시 66%, WindowsAgentArena에서 56.6%, AndroidWorld에서 71.6%를 기록했습니다(Simular).
- 트레이드오프: 연구용 프레임워크입니다. 관리형 인프라 및 승인 절차가 필요한 경우, 동일한 연구를 기반으로 구축된 Sai API를 사용하세요.
