로보비서(Robosecretary)란 무엇인가? 다수의 자율형 컴퓨터를 운용하는 컴퓨터 사용 에이전트

로보세크리터리란 무엇인가요?

'Secretary'의 진화

'Secretary'는 한때 비밀을 지키는 사람을 뜻했습니다. 수백 년에 걸쳐 측근, 내각 관료, 타이피스트, 보조원 등으로 의미가 변화해 왔습니다. 이제 AI 시대에 맞춰 그 새로운 의미를 정의하고자 합니다.

• 1300년대~1400년대 (비밀 관리자): 왕, 교황, 귀족들의 사적인 비밀을 맡길 수 있는 충직한 측근을 의미했습니다.
• 1500년대~1600년대 (왕실 고문): 개인의 비밀을 관리하던 이들이 정치적 영향력을 얻으며 영국 정부의 최고 장관직에 오르게 되었습니다.
• 1789년 (정부 직함): 미국은 왕실 느낌을 주는 명칭을 피하기 위해 내각 수장(국무장관 등)에게 'Secretary'라는 명칭을 사용하기 시작했습니다.
• 1800년대 후반 (사무 보조원): 타자기의 보급과 기업의 성장으로 인해 타이핑과 문서 정리 중심의 여성 중심 직무로 자리 잡았습니다.
• 1970년대 (행정 전문가): 전문적인 업무 역량을 더 잘 반영하기 위해 '행정 보조원(Administrative Assistant)'이라는 명칭이 널리 쓰이게 되었습니다.
• 2020년대 이후 (로보세크리터리): AI 에이전트가 일상적인 디지털 업무를 도맡아 처리하며, 인간은 고차원적인 전략적 파트너십에 집중하게 됩니다.

로보세크리터리 vs 범용 AI 에이전트 vs RPA

기술 업계는 오랫동안 데스크톱 소프트웨어 자동화 문제를 해결하기 위해 노력해 왔습니다. RPA(UiPath, Automation Anywhere)는 구축 후 실행 비용이 저렴하고 정확하지만, 인터페이스가 조금만 바뀌어도 작동이 멈춥니다. 범용 AI 에이전트는 추론 능력이 뛰어나고 화면을 조작할 수 있지만, 클릭할 때마다 모델 호출 비용이 발생하며 벤더가 제공하는 환경 내에서만 작동한다는 제약이 있습니다. 로보세크리터리는 GUI 기반의 접근성과 결정론적이고 반복 가능한 실행이라는 두 가지 장점을 모두 갖추도록 설계되었습니다.

가장 중요한 점은 로보세크리터리가 단순한 단일 에이전트가 아니라는 것입니다. 이는 클라우드나 로컬 환경에서 자율적인 컴퓨터 군단을 지휘하는 중앙 사령관 역할을 합니다. 수십 개의 에이전트를 일일이 관리할 필요 없이, 로보세크리터리인 Sai에게 업무를 지시하면 Sai가 각 컴퓨터에 할당된 하위 에이전트 팀에 작업을 위임하여 처리합니다.

실질적인 차이는 커버리지에 있습니다. API 기반 워크플로우 도구는 API가 없는 소프트웨어는 다룰 수 없으며, RPA는 인터페이스가 변경되는 소프트웨어에는 대응하지 못합니다. 로보세크리터리(robosecretary)는 사람이 사용하는 것과 동일한 인터페이스를 기반으로 작동하며, 이는 모든 애플리케이션이 반드시 갖추고 있는 유일한 인터페이스입니다. 이 주장에 대한 자세한 내용은 GUI 에이전트의 필요성에서 확인하실 수 있습니다.

2026년 기준 컴퓨터 사용 에이전트 Sai의 성능은 어느 정도일까요? OSWorld 벤치마크

OSWorld는 컴퓨터 사용 에이전트를 위한 표준 오픈 벤치마크로, 실제 운영 체제 내의 실제 애플리케이션을 사용하여 작업이 실제로 완료되었는지 여부를 평가합니다.

2026년 6월 홍콩대학교 XLANG Lab에서 발표한 108개 작업으로 구성된 OSWorld 2.0(숙련된 인간이 1시간 이상 소요하는 작업들로 구성)에서 Sai는 작업당 15.70달러의 비용으로 73.0%의 부분 점수를 기록하며, Claude Opus 5 Max Thinking(작업당 23.70달러, 70.6%)과 GPT-5.6 Sol Max(작업당 26.62달러, 62.6%)를 앞섰습니다.

벤치마크 수치를 읽을 때 분명히 해둘 점이 있습니다. OSWorld 1.0과 2.0은 서로 다른 것을 측정하므로 수치를 직접 비교할 수 없습니다. OSWorld 1.0은 설정 변경, 파일 편집, 쿼리 실행 등 유능한 에이전트가 몇 단계 만에 끝낼 수 있는 일회성 독립형 작업들입니다. 반면 OSWorld 2.0은 100단계 이상 실행되고 여러 애플리케이션을 넘나들며, 단순 요청이 아닌 실제 워크플로우의 형태를 반영하는 장기 작업입니다. 에이전트는 전자에 탁월하면서도 후자에는 실패할 수 있습니다. 100단계에 걸쳐 상태를 유지하는 것은 단일 작업을 정확히 실행하는 것과는 완전히 다른 문제이기 때문입니다. 벤치마크 버전이 명시되지 않은 점수는 의미가 없습니다.

Sai는 장기적인 컴퓨터 작업 수행에 탁월합니다. 예를 들어 "매일 송장을 QuickBooks에 업로드"하는 것과 같이 수백 번 반복되는 데스크톱 작업의 경우, Sai는 LLM 기반 에이전트 래퍼 대비 토큰을 최소 90% 절감합니다. 이러한 비용 절감의 원동력은 Simular 연구의 핵심인 신경-심볼릭 접근 방식입니다. 대규모 언어 모델을 호출하여 탐색과 계획을 수행한 다음, 에이전트가 절차를 파악하면 이를 코드로 컴파일하여 결정론적으로 재실행하는 방식입니다.

Sai가 작업을 처음 실행할 때는 다른 에이전트와 동일한 추론 비용이 발생합니다. 하지만 코드를 재실행할 때의 한계 비용은 0에 가깝고, 다른 에이전트들은 매번 동일한 추론 비용을 지불합니다. 환경이 변하여 레시피가 작동하지 않으면 Sai는 다시 모델로 돌아가 문제를 해결한 뒤, 반복을 위해 다시 코드로 복귀합니다.

로보비서의 일상적 사용성을 결정짓는 요소

벤치마크 점수는 해당 카테고리가 작동하는지를 결정하지만, 사용자가 계속 사용할지는 네 가지 제품 속성에 의해 결정됩니다.

실시간 가시성: 에이전트의 모든 동작을 항상 확인 가능

Sai는 에이전트가 작업 중인 가상 머신을 실시간으로 보여주는 지속적인 VM 뷰 창을 실행합니다. 컴퓨터 사용이 필요 없는 단계(API 호출, 코드 실행, 파일 변환 등)에서는 동일한 창에 현재 워크플로우와 진행 상황이 표시됩니다.

이것이 중요한 이유는 감독 비용 때문입니다. 작업이 끝난 후에만 보고하는 컴퓨터 사용 에이전트는 결과물을 전수 조사해야 하지만, 한눈에 확인할 수 있는 에이전트는 문제가 발생한 단계에서 즉시 중단시킬 수 있습니다. 가시성은 자율 실행을 맹목적인 믿음이 아닌 검토 가능한 작업으로 만들어줍니다.

모델 애그노스틱: 오픈 소스를 포함한 모든 모델 지원

로보비서는 특정 업체의 모델에 종속되어서는 안 됩니다. Sai는 최첨단 모델과 전문 모델을 혼합하여 오케스트레이션하며, 특정 제공업체의 가격이나 가용성에 워크플로우를 묶어두는 대신 사용자의 자체 키, 오픈 웨이트 모델, 온프레미스 모델 등 다양한 모델을 선택하여 연결할 수 있습니다.

비용 효율성은 더 저렴한 모델이 아닌, 신경-심볼릭 계획에서 나옵니다.

OSWorld 2.0에서의 비용 격차는 저가형 모델로 교체해서 얻은 결과가 아닙니다. 코드로 계획을 수립하기 때문입니다. 컴퓨터 사용 에이전트인 Sai는 클릭당 모델 호출 비용을 지불하는 대신, 긴 하위 작업에 대해 코드를 작성하고 실행합니다. Simular의 보고에 따르면, Sai는 턴당 더 많은 작업을 수행함으로써 순수 모델 대비 모델 호출 횟수를 약 1.5배 줄였으며, 적응형 요약과 고정된 프롬프트 접두사를 통해 입력 크기를 제한함으로써 장기 작업에서 토큰 사용량을 최소 90% 이상 절감했습니다. 근본적인 관찰 결과는 에이전트에게는 '숙련의 거듭제곱 법칙'이 적용되지 않는다는 점입니다. 사람은 같은 작업을 백 번 반복하면 처음보다 빨라지지만, 순수 모델 기반 에이전트는 매번 동일한 추론 비용을 지불합니다. 심볼릭 계획(Symbolic plans)은 에이전트에게 그 누락된 곡선을 제공합니다. 작업이 해결되면 작동하는 레시피가 코드가 되어 반복 비용이 거의 들지 않게 됩니다. 환경이 변하여 레시피가 작동하지 않으면 에이전트는 다시 모델로 돌아가 문제를 해결한 뒤, 다시 코드로 복귀합니다. 

Windows 및 BYOD 지원: 사용자를 대신하는 것이 아니라 곁에서 함께 일하는 에이전트

Sai는 원격 VM뿐만 아니라 사용자의 로컬 Windows 머신에서도 실행됩니다. 데스크톱 에이전트가 불편한 이유는 독점성 때문입니다. 에이전트가 마우스를 제어하면 사용자는 작업을 멈춰야 하죠. Sai의 화면 속 화면(Picture-in-Picture) 모드는 세션을 항상 위에 떠 있는 작은 창으로 표시하므로, 사용자가 전경에서 문서를 작성하는 동안 에이전트가 데스크톱 애플리케이션 작업을 수행할 수 있습니다. 또한 BYOD(Bring-your-own-device) 방식을 통해 데이터가 기존 머신 내에 유지되므로, 파일을 외부로 반출할 수 없는 환경에서도 결정적인 해결책이 됩니다.

다중 VM: 100대를 제공한다면 어떨까요?

단일 클라우드 컴퓨터는 열어서 사용하는 도구라면, 플릿(fleet)은 깨워서 사용하는 존재입니다. Sai는 동일한 유형의 작업(50개 포털에 동일한 양식 작성, 20개 대시보드에서 동일한 보고서 추출 등)을 여러 가상 머신에서 병렬로 실행할 수 있어, 단일 큐의 길이에 의존하지 않고 머신 수에 비례하여 처리량이 확장됩니다. 작업의 단위는 '태스크'에서 '배치'로 바뀌며, 병목 현상은 실행 속도가 아닌 작업 정의의 명확성 문제로 이동합니다.

병렬 컴퓨터 사용은 적대적이고 실시간인 환경에서도 유효합니다. 실시간 게임 플레이로 컴퓨터 사용 범위를 확장하려는 Simular의 연구는 에이전트가 생각할 시간을 주지 않는 환경에서도 동일한 인식-행동 루프를 테스트합니다.

로보비서 도입을 고려해야 할 대상

아래 역할들에서 공통으로 나타나는 패턴은 API가 없는 소프트웨어, 작은 변형을 동반한 반복 작업, 그리고 현재 사람이 직접 수행하고 있는 업무라는 점입니다.

• 사무직 및 지식 노동자들은 서로 연동되지 않는 애플리케이션 사이에서 정보를 옮기는 데 하루를 보냅니다. 이메일의 수치를 스프레드시트로, 스프레드시트를 슬라이드로, 슬라이드를 공유 드라이브로 옮기는 식이죠. 컴퓨터 사용 에이전트는 기존 도구를 대체하는 것이 아니라, 이러한 도구 사이의 간극을 메워줍니다.
• 영업 및 비즈니스 개발 팀은 모든 계정에 대해 동일한 시퀀스를 실행합니다. 레코드를 보강하고, 마지막 접점을 확인하고, 후속 조치를 작성하고, CRM에 활동을 기록하는 과정입니다. 시퀀스는 일정하지만 계정만 바뀌는데, 이는 다중 VM 병렬 실행이 설계된 목적과 정확히 일치합니다.
• 기업가와 1인 운영자는 업무를 위임할 대상이 없습니다. 로봇 비서는 계약직보다 비용이 저렴하면서도 송장 처리, 공급업체 포털 관리, 서류 제출, 받은 편지함 분류 등 이미 설치된 도구를 그대로 활용해 업무를 수행하는 첫 번째 직원입니다.
• 마케팅 및 광고 팀은 각기 다른 내보내기 방식을 가진 플랫폼에서 성과 데이터를 추출한 뒤, 매주 하나의 보고서로 취합합니다. 이 작업은 창의적인 결정이 아닌 정기적인 반복 업무입니다.
• 이커머스 운영자는 Amazon Seller Central, Shopify, 지역별 마켓플레이스 등 여러 플랫폼과 판매자 콘솔에서 상품 리스팅, 가격, 재고를 관리합니다. 대부분 API가 제한적이며 예고 없이 인터페이스가 변경되기도 합니다.
• 재무 및 회계 팀은 모든 필드를 직접 입력해야 하는 ERP 화면을 통해 송장 처리, 비용 정산, 은행 대조, 월말 보고서를 작성합니다. 이는 대부분의 기업에서 가장 업무량이 많고 변동성이 적은 사무 작업입니다.
• 인사 및 채용 팀은 이력서를 검토하고, 여러 채용 사이트에 공고를 올리며, 오퍼 레터를 생성하고, ATS, 급여 시스템, ID 공급자 전반에 걸쳐 온보딩 체크리스트를 완료합니다.
• 투자 분석가와 연구원은 여러 공시 자료, 대시보드, 데이터베이스에서 동일한 필드 정보를 수집하고 이를 대조합니다. 정보 수집은 비용이 발생하는 과정이며, 분석이야말로 위임할 수 없는 핵심 업무입니다.
• IT 관리 팀은 관리자 콘솔 전반에서 계정 프로비저닝, 라이선스 감사, 기기 점검, 티켓 분류를 처리합니다. 이는 빈도가 높고 사양이 명확하지만, 별도의 통합 기능을 구축하기에는 가성비가 낮은 작업들입니다.
• 개발자와 QA는 컴퓨터 사용 에이전트를 활용하여 UI 회귀 테스트, 폼 유효성 검사, 크로스 브라우저 체크를 수행하며, 변경되는 선택자(selector)에 맞춰 테스트 스크립트를 유지보수할 필요가 없습니다.
• 고객 지원 팀은 지식 베이스를 바탕으로 답변하고, 티켓을 업데이트하며, 사례별로 2~3개의 내부 시스템을 다룹니다. 답변은 눈에 보이는 부분일 뿐, 시스템 업데이트가 곧 실무입니다.