Opa! Algo deu errado ao enviar o formulário.
Uma ferramenta de uso de computador para um agente de IA é a capacidade que permite ao agente operar softwares através da tela, mouse e teclado, em vez de usar uma API. Em 2026, existem duas maneiras de adicionar uma. Você pode fornecer ao seu agente primitivas de baixo nível (captura de tela, clique, digitação) da Anthropic, OpenAI ou Google e construir o ambiente e o loop de execução por conta própria, ou pode fornecer a ele um operador de nível de tarefa: o API do Sai da Simular, onde uma chamada HTTP entrega uma tarefa de GUI completa a um agente de uso de computador que já possui um computador Windows ou Linux, relata o progresso como eventos e solicita sua aprovação antes de qualquer ação sensível. Este guia explica ambos os padrões, mostra como a API de uso de computador da Sai funciona de ponta a ponta, fornece código de integração funcional para o SDK de Agentes da OpenAI, LangGraph, o SDK de IA da Vercel e MCP, e compara as quatro opções quanto ao que você precisa construir, quanto custam e quão confiáveis são.
Tudo o que está abaixo foi verificado em relação à documentação atual dos fornecedores em 10 de outubro de 2026. Os trechos de integração de framework para a Sai foram escritos com base na API REST pública e estão marcados para revisão de engenharia onde a Simular ainda não publicou um exemplo oficial.
Uma ferramenta de uso de computador é uma ferramenta, no sentido de chamada de função, que dá a um agente de modelo de linguagem a capacidade de ver a tela de um computador e agir sobre ela: tirar uma captura de tela, mover o cursor, clicar, rolar, digitar e pressionar teclas. Com ela, um agente pode operar qualquer aplicativo que possua uma interface gráfica sem uma API, incluindo softwares de desktop, portais de fornecedores e consoles administrativos que não oferecem nenhuma integração. Sem ela, um agente só pode agir no mundo através das APIs e códigos aos quais tem acesso.
O termo abrange dois produtos bastante diferentes. Os fornecedores de modelos disponibilizam primitivas de uso de computador: uma definição de ferramenta que o modelo entende (computer_toolset_20260801 da Anthropic, ferramenta de computador da OpenAI, computer_use do Gemini) que retorna ações para o seu código executar em uma tela fornecida por você. O segundo tipo é um agente de uso de computador como ferramenta: um agente hospedado com seu próprio computador que aceita uma descrição de tarefa e retorna um resultado, para que seu agente delegue todo o trabalho de GUI em vez de controlar cada clique. A Sai é o exemplo do segundo tipo neste guia.
Qual delas você deseja depende de se você está construindo um agente de uso de computador ou usando um.
Primitivas: seu agente controla o mouse e o teclado. Você adiciona a ferramenta do fornecedor à sua chamada de modelo. A cada turno, o modelo retorna uma ou mais ações (clique esquerdo em uma coordenada, digitar uma string, captura de tela), seu código as executa em uma tela que você hospeda (um contêiner Docker com Xvfb, um navegador Playwright, uma VM), captura uma nova captura de tela e a envia de volta. Você é responsável pelo ambiente, pelo loop, pelo dimensionamento de coordenadas, pelo tratamento de erros, pelas verificações de segurança e pela conta de cada captura de tela. Esta é a escolha certa quando o raciocínio sobre a tela precisa residir dentro do seu agente, para pesquisa, para UIs personalizadas ou quando você mesmo está construindo um produto de uso de computador.
Operador de nível de tarefa: seu agente delega o trabalho. Você adiciona uma ferramenta de função ao seu agente, algo como run_on_computer(tarefa). Quando chamada, ela envia a tarefa para a Sai, que provisiona ou desperta um computador na nuvem (ou sua própria máquina executando o aplicativo de desktop da Sai), opera a tela com sua própria pilha de modelos, transmite o progresso, pausa para aprovação quando precisa executar um comando ou fazer login e retorna o texto final. Seu agente nunca vê uma captura de tela. Esta é a escolha certa quando o trabalho de GUI é uma etapa em um fluxo de trabalho maior, quando a confiabilidade por tarefa importa mais do que o controle por clique, ou quando você não quer executar uma infraestrutura de desktop.
As tarefas que justificam uma ferramenta de uso de computador são aquelas que nenhuma API cobre. Os próprios exemplos da Simular são uma boa lista: testar um fluxo de inscrição de staging de ponta a ponta em um navegador real; extrair as faturas deste mês de um portal de fornecedor que só oferece login via web; inserir linhas de um CSV em um formulário interno que não possui importação; seguir um relatório de bug passo a passo em uma máquina Windows e capturar o que acontece; encontrar contas inativas em um console administrativo e exportá-las. Cada uma dessas tarefas leva alguns minutos de cliques para uma pessoa e é um problema insolúvel para um agente que depende apenas de APIs.
A mesma regra indica quando não recorrer à ferramenta. Se existir uma API ou SDK documentado, se os dados já estiverem locais ou se você precisar de uma saída exata em nível de byte, escreva código. O uso de computador é mais lento e mais caro do que uma chamada de função; seu valor reside no fato de funcionar onde as chamadas de função não conseguem.
Com primitivas, a confiabilidade é o que o seu loop alcança, e você só descobre isso ao construí-lo. A Sai publica seus números. No OSWorld 2.1, a versão de longo prazo do benchmark padrão de uso de computador, a Simular relata que a Sai obteve uma pontuação parcial de 77,3% a US$ 14,34 por tarefa, equiparando-se ao Claude Opus 5 e a um custo menor, com trajetórias e metodologia publicadas. Estes são números relatados pelo fornecedor, mas são os únicos números de conclusão e custo por tarefa publicados para qualquer ferramenta de uso de computador nesta comparação; os fornecedores de modelos publicam pontuações de modelo, não pontuações de produto, e nunca um custo por tarefa.
O custo por tarefa também aparece na sua própria telemetria. Cada /events resposta inclui usage.costUsd e contagens de chamadas de modelo para a tarefa atual e a sessão, para que uma ferramenta de framework possa registrar quanto custou cada trabalho delegado sem precisar instrumentar um loop de captura de tela. E para trabalhos repetidos, o modelo "execute uma vez, reproduza como código" da Sai é o diferencial: após uma tarefa ser executada uma vez, você pode pedir à Sai para salvar o fluxo de trabalho como uma habilidade nomeada e parametrizada; execuções posteriores reproduzem o código e consultam o modelo apenas onde a tela é relevante, com o agente assumindo o controle quando uma mudança na interface interrompe uma etapa. A pesquisa de uso de computador neuro-simbólico da Simular relata políticas aprendidas que reduzem o custo por execução em cerca de 15 a 217 vezes e a latência em 3,4 a 5,1 vezes nos benchmarks testados, e é por isso que um trabalho agendado que custa dólares na primeira vez pode custar centavos nas vezes seguintes.
Uma ferramenta de uso de computador é a ferramenta mais poderosa que você dará a um agente, e todos os fornecedores dizem as mesmas três coisas: execute-a em um ambiente isolado, trate o que está na tela como entrada não confiável (a injeção de prompt lidera o OWASP Top 10 para aplicações LLM) e coloque um humano diante de ações consequentes. A API da Sai incorpora a terceira no protocolo. A execução de comandos gera uma aprovação que você deve responder; logins, inserção de senhas, conexões de conta Google e verificações por telefone são aprovações exclusivas de link que a API não pode concluir por conta própria, portanto, um agente nunca pode ser enganado para digitar uma credencial. A tarefa resposta permite que você pré-aprove uma classe de ações para uma tarefa sem pré-aprovar tudo, e POST /abort interrompe uma tarefa em pleno andamento.
Os limites operacionais são publicados e vale a pena planejar com base neles: 60 mensagens por hora por conta, 1.200 consultas de eventos por hora (use wait=30, não loops apertados), 20 aprovações por minuto, 30 uploads por hora com 25 MB cada. O computador do plano gratuito leva cerca de dois minutos para iniciar na primeira solicitação do dia e tem um limite de tempo diário; os planos pagos recebem máquinas dedicadas que hibernam quando ociosas e despertam na próxima mensagem.
As três ferramentas dos fornecedores são excelentes, e a Sai pode usar seus modelos subjacentes; a comparação é sobre o que você assume ao adotar cada uma.
A ferramenta de uso de computador da Anthropic é o conjunto de primitivas mais maduro: 17 ações, incluindo zoom, chamadas em lote por turno e orientação detalhada sobre tamanhos de exibição e escala de coordenadas. O custo de adotá-la é o ambiente. A implementação de referência da Anthropic é uma imagem Docker executando Xvfb, um gerenciador de janelas, Firefox e LibreOffice, e a definição da ferramenta sozinha custa cerca de 4.500 tokens de entrada por solicitação antes de qualquer captura de tela. Se você está construindo um produto de uso de computador no Claude, comece por aqui; se você quer que os modelos do Claude realizem trabalho de GUI dentro de um agente existente, a Sai permite que você escolha anthropic/claude-sonnet-5ouclaude-opus-5-5 como o modelo e ignore o ambiente.
Ferramenta de computador da OpenAI atingiu a disponibilidade geral (GA) na API de Respostas com o processamento em lote de actions[] e uma migração limpa a partir de computer-use-preview; o SDK de Agentes a encapsula como ComputerTool com um callback de verificação de segurança. Você ainda implementa a Computer interface usando Playwright ou uma VM, e a própria orientação da OpenAI é que, para o GPT-6 Astra, ela agora recomenda a execução de código primeiro, com a ferramenta de computador "como uma alternativa".
Gemini Computer Use é a primitiva mais barata de executar e possui a lista de ambientes mais ampla (navegador, celular, desktop) com coordenadas normalizadas que tornam o escalonamento trivial. Ainda está em Preview, a detecção de injeção é opcional e a própria documentação do Google recomenda executá-la em um sandbox e longe de tarefas críticas.
Sai é o único dos quatro que é um agente completo de uso de computador por trás de uma API. O outro lado, e esta é uma limitação real, é que ele não expõe capturas de tela ou primitivas de clique: se o seu agente precisa raciocinar sobre pixels por conta própria, o Sai não é a ferramenta. Sua aposta de design é que a maioria dos criadores de agentes quer que a tarefa seja concluída, não a tela.
A API do Sai é uma pequena superfície REST em https://api.simular.ai/v1/agents, autenticada com uma chave bearer (Authorization: Bearer sapi_...). O plano gratuito inclui um computador Windows em nuvem compartilhado e créditos diários; os planos pagos adicionam computadores Windows ou Linux dedicados (até cinco simultaneamente no plano pré-pago de US$ 50) e a opção de executar em sua própria máquina Mac ou Windows. As chaves são criadas no portal após um login do Google; contas gratuitas verificam um número de telefone primeiro.
POST /v1/agents/message recebe a tarefa em linguagem simples. Defina wait: false para obter um sessionId de volta imediatamente e consultar eventos (o padrão wait: true transmite eventos enviados pelo servidor). machineId é opcional quando você tem apenas um computador; model aceita auto ou um id de /models; attachments carregam arquivos que você enviou anteriormente.
curl -s "$SAI_API_URL/v1/agents/message" \
-H "Authorization: Bearer $SAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"message": "Open Notepad, type hello, save it to the desktop as hello.txt",
"wait": false
}'
{ "sessionId": "cs_01HZY", "machineId": "free-3fA9kQ2xYz", "queued": false }
GET /v1/agents/events?sessionId=...&since=...&wait=30 realiza long-polling por até 60 segundos e retorna a sessão status (em execução,needs_approval,inativoouerro), novos eventos, um opaco cursor para passar de volta como desde, o texto do assistente até o momento e um uso objeto com contagens de tokens, chamadas de modelo e custoUsd para a tarefa. Eventos de progresso (data-progress) são linhas curtas de narração como "Abrindo o Bloco de Notas" com a ferramenta em uso; a API deliberadamente não retorna capturas de tela, o que mantém o contexto do seu agente pequeno.
{
"events": [
{ "type": "data-progress", "data": { "text": "Opening Notepad", "tool": "computer" } }
],
"cursor": "1790000012345:3",
"status": "running",
"text": ""
}
Quando o Sai deseja executar um comando, realizar uma ação que você deve ver primeiro ou precisa que uma escolha seja feita, o status da sessão torna-se needs_approval e a resposta carrega um aprovação objeto. Você responde com POST /v1/agents/approve e um resposta de sim,não, ou tarefa (aprove esta e solicitações semelhantes para o restante da tarefa). As aprovações de escolha levam um seleções array. Algumas aprovações são apenas por link: conectar uma conta do Google, digitar uma senha de site, uma verificação por telefone. A API não pode responder a isso; ela fornece um approvalUrl para entregar ao humano proprietário da conta, e a tarefa é retomada assim que ele concluir. Esta é a parte que a maioria dos loops de uso de computador criados manualmente nunca acerta, e aqui é um evento de primeira classe.
curl -s "$SAI_API_URL/v1/agents/approve" \
-H "Authorization: Bearer $SAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "approvalId": "ap_7Qw", "response": "yes" }'
Quando o status for inativo,text contém a resposta do Sai. Mensagens de acompanhamento para o mesmo sessionId continuam a conversa e o estado da área de trabalho; POST /new-session começa do zero e POST /abort interrompe uma tarefa em execução. Os arquivos são enviados através de POST /upload (bytes brutos, 25 MB, PDF, imagens, CSV, código) e são referenciados como anexos. Um loop completo em Python que inicia uma tarefa, exibe o progresso, aprova automaticamente prompts de comando e retorna o texto tem cerca de 60 linhas; a Simular publica isso no guia de início rápido e exemplos, e a versão abaixo é a que integramos em ferramentas de framework na próxima seção.
Crie uma chave de API gratuita, envie uma POST /v1/agents/message, e seu agente terá um computador. Integre-o como uma ferramenta de função no SDK de Agentes da OpenAI, LangGraph ou no SDK de IA da Vercel, ou adicione o servidor MCP ao Claude Code, Codex ou Cursor. O plano gratuito inclui um computador na nuvem; o plano pré-pago de US$ 50 adiciona máquinas Windows ou Linux dedicadas, cinco em paralelo.