SimuLang을 소개합니다: 데스크톱 전체를 위한 Playwright
작성자: 앙 리
Simulang은 AI 에이전트가 작성하도록 설계된, 브라우저, 네이티브 앱 및 OS 수준 워크플로우를 자동화하기 위한 스크립팅 언어입니다. 저희는 방금 Simulang을 오픈 소스로 공개했습니다. 지금 단 하나의 명령어로 설치할 수 있습니다:
.png)
That absence creates problems. AI agents, as the industry currently builds them, lack efficiency.
To be clear, this isn’t about AI’s capability; frontier labs have been breaking new grounds virtually every month. The problem is agent cost – measured in dollars, time, tokens, compute, and human oversight – and the fact that none of those costs gravitate toward the most efficient result. Just as how things in nature tend towards efficiency, computer autonomy should, too.
우리가 Simulang을 만든 이유
AI의 신뢰성을 확보하려면 어색한 현실에 직면해야 합니다. 인간의 언어는 의사소통 능력, 설득력, 감성적인 힘에도 불구하고 언어는 매우 모호하고 실행하기에 끔찍합니다.일상적으로 주고받는 다음과 같은 친숙한 대화를 생각해 보십시오.
속도. 각 동작은 50밀리초 미만이 소요됩니다. 이는 로컬 API를 쿼리하고 클릭을 실행하는 데 걸리는 시간입니다. 이미지 캡처, 업로드, 모델 추론이 없습니다. 20단계 워크플로우가 1초 이내에 완료됩니다. 스크린샷 기반 에이전트는 동일한 워크플로우에서 동작당 3~5초가 걸리므로, 대규모에서는 60~100배 더 느립니다.
비용. Simulang 스크립트는 재실행 시 토큰을 전혀 소모하지 않습니다. 스크립트가 처음 작성될 때(또는 Sai가 자연어로부터 스크립트를 생성할 때) LLM 추론에 대한 비용을 지불합니다. 그 이후의 모든 실행은 무료입니다. API 호출도, 클라우드 처리도, 실행당 요금도 없습니다. 매일 수백 개의 자동화된 워크플로우를 실행하는 팀에게 이는 실현 가능성과 엄청난 비용 사이의 차이를 만듭니다. 이는 점진적인 개선이 아닙니다. 픽셀 대신 의미론적 요소, 클라우드 추론 대신 로컬 실행, 확률적 추측 대신 확정적 참조와 같은 올바른 추상화를 선택함으로써 얻어지는 구조적 이점입니다.
Lastly, today's agents don’t practice because they never learn on the task. Agents of today are predominantly LLM-based. While an LLM model is great at solving novel problems, it’s wasteful on routine tasks. It doesn’t learn on the task but re-inferences from scratch every time. The LLM keeps doing the work without ever forming muscle memory, so it never gets more efficient at a task it has already done a hundred times. This turns into billable amnesia.
Lastly, today's agents don’t practice because they never learn on the task. Agents of today are predominantly LLM-based. While an LLM model is great at solving novel problems, it’s wasteful on routine tasks. It doesn’t learn on the task but re-inferences from scratch every time. The LLM keeps doing the work without ever forming muscle memory, so it never gets more efficient at a task it has already done a hundred times. This turns into billable amnesia.
What practice looks like in a machine
So how do we build agents that actually follow the power law of practice? The good news is we already have a working example of extreme efficiency sitting inside our brain.
The human brain runs on about 20 watts [3]. That is the power of a dim light bulb, and with it, a person can hold a conversation, recognize a face across a noisy room, plan a week of meals, and second-guess a decision from 10 years ago. No machine we have built comes close to that efficiency, namely the ratio of output to energy consumption.
It’s worth sitting with that before talking about machine intelligence. The brain did not become efficient by being powerful. It gets there by being cheap, and it gets cheap through practice.
An AI agent should work the same way. It shouldn’t pay twice for the same task, and it shouldn’t starve the model to save on tokens. Like muscle, learned and repeated actions can be handled by a small model and stored in small memory units. Not everything needs to route through a central LLM – the "brain" – every time. Intelligence doesn’t require brute force; small, structured, symbolic units can execute repeated work in code efficiently. That is the power law of practice: the first run is an expensive discovery, and every run after gets cheaper.
.png)
This is also the neurosymbolic approach: neural LLMs where novelty is needed for discovery, and symbolic, muscle-memory-like code for repeatable work. The neural half handles first encounters; the symbolic half is where practice happens. Together, they give agents efficiency overtime.
Simulang의 기능
인간의 모호성을 코드로 변환하는 것은 에이전트 문제의 절반만 해결합니다.신뢰도 자체는 무질서를 향한 우주의 거침없는 흐름인 엔트로피에 대한 저항의 결과입니다.방은 점점 지저분해지죠.직원들의 사기가 떨어집니다.조직은 인간의 혼란에 질서를 부여하고 불확실성을 예측 가능성으로 바꾸기 위해 존재합니다.코드는 인간의 무질서한 생각을 질서 있고 결정론적인 체계로 바꾸는 도구입니다.
Simulang 스크립트는 다음을 수행할 수 있습니다:
- 모든 애플리케이션(브라우저, 네이티브 데스크톱 앱, 시스템 대화 상자, 파일 관리자)을 엽니다.
- 접근성 트리를 읽습니다. 모든 버튼, 텍스트 필드, 메뉴 항목 및 레이블이 구조화된 참조 가능한 요소로 노출됩니다.
- 요소 참조를 통해 확정적으로 상호작용합니다(클릭, 입력, 선택, 토글, 스크롤, 확장/축소). 픽셀 좌표가 아닌 요소 참조를 사용합니다.
- 비전으로 대체합니다. 애플리케이션이 접근성 데이터를 노출하지 않을 때, Simulang은 픽셀 수준의 비전 기반 기술을 사용하여 화면에서 요소를 찾습니다.
