죄송합니다!양식을 제출하는 중에 문제가 발생했습니다.
AI 에이전트를 위한 컴퓨터 사용 도구는 에이전트가 API 대신 화면, 마우스, 키보드를 통해 소프트웨어를 직접 조작할 수 있게 해주는 기능입니다. 2026년 현재 이를 추가하는 방법은 두 가지가 있습니다. Anthropic, OpenAI 또는 Google에서 제공하는 저수준 기본 요소(스크린샷, 클릭, 타이핑)를 에이전트에게 부여하고 환경과 실행 루프를 직접 구축하거나, 작업 수준의 운영자를 제공하는 방법이 있습니다. 바로 Sai API입니다. Simular의 서비스입니다. 단 한 번의 HTTP 호출로 전체 GUI 작업을 이미 Windows나 리눅스 컴퓨터를 갖춘 컴퓨터 사용 에이전트에게 위임할 수 있으며, 에이전트는 진행 상황을 이벤트로 보고하고 민감한 작업 전에는 사용자에게 승인을 요청합니다. 이 가이드에서는 두 가지 패턴을 모두 설명하고, Sai 컴퓨터 사용 API가 처음부터 끝까지 어떻게 작동하는지 보여줍니다. 또한 OpenAI Agents SDK, LangGraph, Vercel AI SDK 및 MCP를 위한 실제 통합 코드를 제공하며, 구축해야 할 사항, 비용, 신뢰성 측면에서 네 가지 옵션을 비교합니다.
아래의 모든 내용은 2026년 10월 10일 기준 각 벤더의 최신 문서를 바탕으로 확인되었습니다. Sai를 위한 프레임워크 통합 코드 조각은 공개 REST API를 기준으로 작성되었으며, Simular가 아직 공식 예제를 게시하지 않은 부분은 엔지니어링 검토가 필요하도록 표시했습니다.
컴퓨터 사용 도구는 함수 호출(function-calling) 관점에서 언어 모델 에이전트가 컴퓨터 화면을 보고 그에 따라 행동할 수 있게 해주는 도구입니다. 스크린샷 촬영, 커서 이동, 클릭, 스크롤, 타이핑 및 키 입력 등이 가능합니다. 이를 통해 에이전트는 API가 없는 데스크톱 소프트웨어, 벤더 포털, 관리자 콘솔 등 그래픽 인터페이스를 가진 모든 애플리케이션을 조작할 수 있습니다. 이 도구가 없다면 에이전트는 자신이 접근할 수 있는 API와 코드만을 통해서만 외부 세계와 상호작용할 수 있습니다.
이 용어는 두 가지 매우 다른 제품을 포괄합니다. 모델 벤더들은 컴퓨터 사용 기본 요소(primitives)를 제공합니다. 이는 모델이 이해할 수 있는 도구 정의(Anthropic의 computer_toolset_20260801, OpenAI의 computer tool, Gemini의 computer_use)로, 사용자가 제공하는 디스플레이 환경에서 코드가 실행할 동작을 반환합니다. 두 번째 유형은 도구로서의 컴퓨터 사용 에이전트입니다. 이는 자체 컴퓨터를 갖춘 호스팅된 에이전트로, 작업 설명을 받아 결과를 반환합니다. 따라서 사용자의 에이전트는 매번 클릭을 제어하는 대신 전체 GUI 작업을 위임하게 됩니다. 이 가이드에서는 Sai가 두 번째 유형의 예시로 사용됩니다.
어떤 방식을 선택할지는 컴퓨터 사용 에이전트를 직접 구축하는지, 아니면 기존 에이전트를 사용하는지에 따라 달라집니다.
기본 요소(Primitives): 에이전트가 마우스와 키보드를 직접 제어합니다. 모델 호출 시 벤더의 도구를 추가합니다. 매 단계마다 모델은 하나 이상의 동작(좌표 클릭, 문자열 입력, 스크린샷 등)을 반환하고, 사용자의 코드는 이를 호스팅된 디스플레이(Xvfb가 포함된 Docker 컨테이너, Playwright 브라우저, VM 등)에서 실행한 뒤 새로운 스크린샷을 캡처하여 다시 전송합니다. 환경, 루프, 좌표 스케일링, 오류 처리, 안전 점검 및 모든 스크린샷에 대한 비용은 사용자가 직접 관리해야 합니다. 이 방식은 연구 목적, 맞춤형 UI 구축, 또는 직접 컴퓨터 사용 제품을 개발할 때처럼 화면에 대한 추론이 에이전트 내부에서 이루어져야 할 때 적합합니다.
작업 수준 운영자(Task-level operator): 에이전트가 작업을 위임합니다. 에이전트에 run_on_computer(task)와 같은 함수 도구를 하나 추가합니다. 호출 시 작업 내용을 Sai로 전송하면, Sai는 클라우드 컴퓨터(또는 Sai 데스크톱 앱이 실행 중인 사용자 기기)를 준비하거나 깨워 자체 모델 스택으로 화면을 조작합니다. 진행 상황을 스트리밍하고, 명령 실행이나 로그인이 필요할 때 승인을 위해 일시 중지하며, 최종 결과를 텍스트로 반환합니다. 에이전트는 스크린샷을 직접 볼 필요가 없습니다. 이 방식은 GUI 작업이 더 큰 워크플로우의 일부일 때, 클릭 단위의 제어보다 작업별 신뢰성이 중요할 때, 또는 데스크톱 인프라를 직접 운영하고 싶지 않을 때 적합합니다.
컴퓨터 사용 도구가 필요한 작업은 API로 해결할 수 없는 것들입니다. Simular가 제시하는 예시들이 좋은 목록이 됩니다: 실제 브라우저에서 스테이징 환경의 가입 절차를 처음부터 끝까지 테스트하기, 웹 로그인만 지원하는 벤더 포털에서 이번 달 청구서 가져오기, 가져오기 기능이 없는 내부 양식에 CSV 행 입력하기, Windows 환경에서 버그 리포트를 단계별로 따라가며 캡처하기, 관리자 콘솔에서 비활성 계정을 찾아 내보내기 등이 있습니다. 이러한 작업들은 사람이 하면 몇 분 걸리는 클릭 작업이지만, API만 사용하는 에이전트에게는 해결 불가능한 문제입니다.
같은 원리로 도구를 사용하지 말아야 할 때도 알 수 있습니다. 문서화된 API나 SDK가 존재하거나, 데이터가 이미 로컬에 있거나, 정확한 바이트 단위의 출력이 필요하다면 코드를 작성하는 것이 좋습니다. 컴퓨터 사용은 함수 호출보다 느리고 비용이 많이 듭니다. 이 도구의 가치는 함수 호출이 불가능한 곳에서 작동한다는 점에 있습니다.
프리미티브(primitives)를 사용할 때 신뢰성은 루프가 무엇을 달성하느냐에 달려 있으며, 이는 직접 구축해 봐야만 알 수 있습니다. Sai는 자체 수치를 공개합니다. 표준 컴퓨터 사용 벤치마크의 장기 버전인 OSWorld 2.1에서, Simular는 Sai가 작업당 14.34달러의 비용으로 77.3%의 부분 점수를 기록했다고 보고했습니다. 이는 Claude Opus 5와 동등한 수준이면서도 더 낮은 비용으로, 궤적 및 방법론이 공개되어 있습니다. 이는 벤더가 보고한 수치이지만, 이 비교에서 컴퓨터 사용 도구에 대해 작업 수준의 완료율과 비용을 공개한 유일한 사례입니다. 모델 벤더들은 제품 점수가 아닌 모델 점수만을 공개하며, 작업당 비용은 결코 공개하지 않습니다.
작업당 비용은 자체 원격 측정(telemetry) 데이터에서도 확인할 수 있습니다. 모든 /events 응답에는 usage.costUsd 현재 작업 및 세션에 대한 모델 호출 횟수가 포함되어 있어, 프레임워크 도구가 스크린샷 루프를 계측하지 않고도 각 위임된 작업의 비용을 기록할 수 있습니다. 반복적인 작업의 경우, Sai의 "한 번 실행, 코드로 재생" 모델이 핵심입니다. 작업이 한 번 실행되면 Sai에게 해당 워크플로우를 이름이 지정된 매개변수화된 스킬로 저장하도록 요청할 수 있습니다. 이후 실행 시에는 코드를 재생하고 화면 확인이 필요한 부분에서만 모델을 쿼리하며, UI 변경으로 단계가 중단될 경우 에이전트가 개입합니다. Simular의 신경-기호(neuro-symbolic) 컴퓨터 사용 연구에 따르면, 학습된 정책을 통해 테스트된 벤치마크에서 실행당 비용을 약 15~217배, 지연 시간을 3.4~5.1배 절감할 수 있었습니다. 이것이 바로 첫 실행 시 수 달러가 드는 예약 작업이 이후에는 센트 단위의 비용으로 실행될 수 있는 이유입니다.
컴퓨터 사용 도구는 에이전트에게 부여할 수 있는 가장 강력한 도구이며, 모든 벤더는 동일한 세 가지를 강조합니다. 격리된 환경에서 실행할 것, 화면에 나타나는 내용을 신뢰할 수 없는 입력으로 취급할 것(프롬프트 인젝션은 LLM 애플리케이션의 OWASP Top 10 중 1위입니다), 그리고 중요한 작업 앞에는 반드시 사람이 개입하도록 할 것입니다. Sai의 API는 세 번째 원칙을 프로토콜에 내장하고 있습니다. 명령 실행 시 반드시 답변해야 하는 승인 절차가 발생하며, 로그인, 비밀번호 입력, Google 계정 연결 및 전화 인증은 API가 단독으로 완료할 수 없는 링크 전용 승인 항목이므로, 에이전트가 속아서 자격 증명을 입력하는 일은 결코 발생할 수 없습니다. task 응답을 통해 모든 것을 미리 승인하지 않고도 특정 작업에 대한 일련의 동작을 사전 승인할 수 있으며, POST /abort 명령은 실행 중인 작업을 즉시 중단합니다.
운영 제한 사항이 공개되어 있으므로 이를 고려하여 설계하는 것이 좋습니다: 계정당 시간당 60개 메시지, 시간당 1,200회 이벤트 폴링( wait=30을 사용하고 타이트한 루프는 피하세요), 분당 20회 승인, 시간당 30회 업로드(각 25MB 제한). 무료 플랜의 컴퓨터는 하루 첫 요청 시 시작하는 데 약 2분이 소요되며 일일 시간 제한이 있습니다. 유료 플랜은 유휴 상태일 때 절전 모드로 전환되고 다음 메시지 수신 시 깨어나는 전용 머신을 제공합니다.
세 벤더의 도구는 모두 훌륭하며, Sai는 그 기반 모델들을 활용할 수 있습니다. 이 비교의 핵심은 각 도구를 채택할 때 감수해야 할 사항에 관한 것입니다.
Anthropic의 컴퓨터 사용 도구 는 가장 성숙한 프리미티브 세트를 갖추고 있습니다. 여기에는 줌, 턴당 일괄 호출, 디스플레이 크기 및 좌표 스케일링에 대한 상세 가이드를 포함한 17가지 동작이 포함됩니다. 이를 채택하는 데 드는 비용은 환경 구축에 있습니다. Anthropic의 참조 구현은 Xvfb, 윈도우 매니저, Firefox 및 LibreOffice를 실행하는 Docker 이미지이며, 도구 정의만으로도 스크린샷을 제외하고 요청당 약 4,500개의 입력 토큰이 소모됩니다. Claude를 기반으로 컴퓨터 사용 제품을 구축 중이라면 여기서부터 시작하세요. 만약 기존 에이전트 내부에서 GUI 작업을 수행할 Claude 모델을 원하신다면, Sai를 통해 선택할 수 있습니다. anthropic/claude-sonnet-5또는claude-opus-5-5 모델로 설정하고 환경은 건너뜁니다.
OpenAI의 컴퓨터 도구 는 일괄 처리된 Responses API에서 정식 출시(GA)되었으며 actions[] 에서 깔끔하게 마이그레이션할 수 있습니다. computer-use-preview; Agents SDK는 이를 ComputerTool 으로 래핑하며 안전 확인 콜백을 포함합니다. 여전히 Computer 인터페이스를 Playwright 또는 VM에 맞춰 구현해야 하며, GPT-6 Astra에 대한 OpenAI의 자체 지침은 이제 코드 실행을 우선적으로 권장하고 컴퓨터 도구는 "대안"으로 사용할 것을 제안합니다.
Gemini 컴퓨터 사용(Computer Use) 은 실행 비용이 가장 저렴한 기본 요소이며, 스케일링을 간편하게 만드는 정규화된 좌표를 통해 가장 광범위한 환경 목록(브라우저, 모바일, 데스크톱)을 지원합니다. 아직 프리뷰 단계이며 주입 탐지 기능은 선택 사항입니다. Google의 자체 문서에서도 샌드박스 환경에서 실행하고 중요한 작업에는 사용하지 말 것을 권고하고 있습니다.
Sai 은 API 기반의 완전한 컴퓨터 사용 에이전트 중 유일한 제품입니다. 반면, 실제적인 한계점은 스크린샷이나 클릭 기본 요소를 노출하지 않는다는 것입니다. 에이전트가 픽셀을 직접 분석해야 한다면 Sai는 적합한 도구가 아닙니다. 이 설계의 핵심은 대부분의 에이전트 개발자가 화면 자체가 아닌 작업 완료를 원한다는 점에 있습니다.
Sai API는 https://api.simular.ai/v1/agents하위의 작은 REST 인터페이스이며, 베어러 키(Authorization: Bearer sapi_...)로 인증됩니다. 무료 플랜에는 공유 Windows 클라우드 컴퓨터와 일일 크레딧이 포함되어 있으며, 유료 플랜은 전용 Windows 또는 Linux 컴퓨터(50달러 종량제 플랜 기준 최대 5대 동시 사용 가능)를 추가하고 사용자의 Mac이나 Windows 머신에서 직접 실행할 수 있는 옵션을 제공합니다. 키는 Google 로그인 후 포털에서 생성하며, 무료 계정은 먼저 전화번호 인증을 거쳐야 합니다.
POST /v1/agents/message 은 일반 언어로 작성된 작업을 처리합니다. wait: false 을(를) 사용하여 sessionId 즉시 응답을 받고 이벤트를 폴링합니다(기본값은 wait: true 이며, 대신 서버 전송 이벤트(SSE)를 스트리밍합니다). machineId 는 컴퓨터가 한 대일 경우 선택 사항입니다. model 은(는) auto 또는 /models를 반환하며,에서 가져온 ID를 허용합니다. attachments
curl -s "$SAI_API_URL/v1/agents/message" \
-H "Authorization: Bearer $SAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"message": "Open Notepad, type hello, save it to the desktop as hello.txt",
"wait": false
}'
{ "sessionId": "cs_01HZY", "machineId": "free-3fA9kQ2xYz", "queued": false }
2. 진행 상황 추적 GET /v1/agents/events?sessionId=...&since=...&wait=30 은(는) 최대 60초 동안 롱 폴링을 수행하고 세션(status,needs_approval,대기 중또는오류), 새로운 이벤트, 불투명한 커서 반환할 이후, 지금까지의 어시스턴트 텍스트, 그리고 사용량 토큰 수, 모델 호출 및 costUsd 작업에 대한 정보입니다. 진행 상황 이벤트(data-progress)는 사용 중인 도구와 함께 "메모장 여는 중"과 같은 짧은 설명 문구입니다. API는 의도적으로 스크린샷을 반환하지 않으며, 이는 에이전트의 컨텍스트를 작게 유지하기 위함입니다.
{
"events": [
{ "type": "data-progress", "data": { "text": "Opening Notepad", "tool": "computer" } }
],
"cursor": "1790000012345:3",
"status": "running",
"text": ""
}
Sai가 명령을 실행하거나, 먼저 확인해야 할 작업을 수행하거나, 선택이 필요한 경우 세션 상태는 needs_approval 이(가) 되며 응답에는 승인 객체가 포함됩니다. 귀하는 이벤트는 사용자가 및 응답 의 예,아니요, 또는작업 (이 요청과 유사한 요청을 남은 작업 동안 승인합니다). 선택 승인에는 선택 항목 배열이 필요합니다. 일부 승인은 Google 계정 연결, 사이트 비밀번호 입력, 전화 인증과 같이 링크를 통해서만 가능합니다. API는 이러한 작업을 직접 수행할 수 없으므로 approvalUrl 을(를) 계정 소유자에게 전달해야 하며, 소유자가 완료하면 작업이 재개됩니다. 이는 대부분의 수동 컴퓨터 사용 루프에서 제대로 구현하지 못하는 부분이지만, 여기서는 핵심 기능으로 다룹니다.
curl -s "$SAI_API_URL/v1/agents/approve" \
-H "Authorization: Bearer $SAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "approvalId": "ap_7Qw", "response": "yes" }'
상태가 대기 중,텍스트 인 경우 Sai의 답변이 포함됩니다. 동일한 sessionId 에 후속 메시지를 보내면 대화와 데스크톱 상태가 유지됩니다. POST /new-session 은(는) 작업을 새로 시작하며 POST /abort 는 실행 중인 작업을 중단합니다. 파일은 POST /upload (원시 바이트, 25MB, PDF, 이미지, CSV, 코드)를 통해 업로드되며 첨부 파일로 참조됩니다. 작업을 시작하고, 진행 상황을 출력하며, 명령 프롬프트를 자동 승인하고 텍스트를 반환하는 전체 Python 루프는 약 60줄 정도입니다. Simular는 이를 빠른 시작 및 예제
에서 제공합니다., 그리고 아래 버전은 다음 섹션에서 프레임워크 도구로 래핑할 버전입니다.
무료 API 키를 생성하고, 하나를 전송하면 POST /v1/agents/message, 에이전트가 컴퓨터를 갖게 됩니다. OpenAI Agents SDK, LangGraph 또는 Vercel AI SDK에서 함수 도구로 래핑하거나, Claude Code, Codex 또는 Cursor에 MCP 서버를 추가하세요. 무료 플랜에는 클라우드 컴퓨터가 포함되어 있으며, 50달러 종량제(Pay-as-you-go) 플랜을 사용하면 전용 Windows 또는 Linux 머신 5대를 병렬로 추가할 수 있습니다.