컴퓨터 사용 에이전트 구축에 있어 서로 반대되는 단결

컴퓨터를 사용하는 에이전트를 구축하려면 인간과 기계, 자연어와 프로그래밍 언어, 엔트로피와 질서, 유연성과 안정성 등 다양한 반대의 문제를 해결해야 합니다.이러한 긴장이 어떻게 상호 작용하여 기계 지능을 달성하는지 이해하려면 먼저 에이전트가 실제로 '좋은' 역할을 하는 요소를 파악해야 합니다.

—

AI는 입증되었습니다 컴퓨터 운영 환경에서 인간과 같은 능력을 발휘하지만 능력 인공 일반 지능만으로는 충분하지 않습니다. 신뢰도 그만큼 중요합니다.

모든 면접 질문에 답변했지만 첫 주에 세 가지 중대한 실수를 저지른 지원자를 고용했다고 가정해 보겠습니다.급박한 마감일이 닥치면 99% 의 완료율을 자랑하는 덜 인상적인 동료를 찾을 가능성이 높습니다.

이 원칙은 AI 분야가 “pass @k" 벤치마크에서 벗어나 한 번 성공하는 방향으로 전환하고 있는 이유를 설명합니다. “패스 ^ k” 메트릭 비슷한 조건에서 반복되는 성공을 측정합니다.AGI는 단순히 특정 작업을 수행할 수 있는 시스템이 아니라 수행할 수 있는 시스템입니다. 확실하게 과거의 실수로부터 교훈을 얻기 때문에 반복해서 결과를 제공합니다.

하지만 컴퓨터를 사용하는 에이전트가 이러한 종류의 신뢰성을 달성하는 데 방해가 되는 것은 무엇일까요?한 가지 문제는 사람의 의사소통과 컴퓨터 규칙 간의 근본적인 차이에 있습니다.

인간 언어 vs 프로그래밍 언어

AI의 신뢰성을 확보하려면 어색한 현실에 직면해야 합니다. 인간의 언어는 의사소통 능력, 설득력, 감성적인 힘에도 불구하고 언어는 매우 모호하고 실행하기에 끔찍합니다.일상적으로 주고받는 다음과 같은 친숙한 대화를 생각해 보십시오.

‍“저녁에 뭐 먹을래?”
“난 뭐든 괜찮아.”
“스시는 어때?”
“흠, 어제 먹었어요.”
“피자?”
“자기 전에는 좀 무거워요.”

‍인간이 서로를 이해하는 데 어려움을 겪는다면 어떻게 기계가 우리의 소원을 확실하게 실행할 수 있을 것이라고 기대할 수 있을까요? 이는 사람을 대신하여 컴퓨터를 작동하도록 설계된 에이전트에게 매우 중요합니다.컴퓨터 시스템은 인간이 원하는 대로 명령을 수행하려면 사람을 철저히 이해해야 합니다.다시 말해, 신뢰할 수 있는 에이전트는 인간의 모호성을 해독할 수 있는 에이전트입니다.

컴퓨터 코드는 그 반대입니다. 명확하고, 엄격하며, 따라서 신뢰할 수 있습니다.이로 인해 흥미로운 긴장감이 생깁니다. 자연스럽고 인간 친화적인 인터페이스를 원한다면 결정론에 타협해야 합니다.안정적인 실행을 원한다면 결정론적 코드가 필요합니다.오늘날의 AI 시스템은 이 두 극 사이에 있는 불편한 상황에 처해 있습니다.

이러한 긴장을 해소하기 위한 한 가지 접근 방식은 에이전트에게 두 개의 “두뇌”를 제공하는 것입니다. 하나는 인간과 자연어로 대화하고 다른 하나는 결정론적 코드로 작업을 실행하는 것입니다.Simular의 에이전트는 다음을 사용합니다. 시물랑 모호한 자연어 명령을 체계적이고 반복 가능한 명령으로 변환하는 시스템.코드에서 렌더링된 액션은 반복적이고 통제할 수 있게 됩니다.

엔트로피 vs 오더

인간의 모호성을 코드로 변환하는 것은 에이전트 문제의 절반만 해결합니다.신뢰도 자체는 무질서를 향한 우주의 거침없는 흐름인 엔트로피에 대한 저항의 결과입니다.방은 점점 지저분해지죠.직원들의 사기가 떨어집니다.조직은 인간의 혼란에 질서를 부여하고 불확실성을 예측 가능성으로 바꾸기 위해 존재합니다.코드는 인간의 무질서한 생각을 질서 있고 결정론적인 체계로 바꾸는 도구입니다.

그렇기 때문에 오늘날 AI에서 가장 시급한 과제는 스테이트리스 (Stateless) 문제, 즉 대부분 해결된 독립형 텍스트 또는 이미지 생성이 아니라 스테이트풀 (Stateful) 문제입니다.스테이트풀 시스템은 환경을 지속적으로 관찰하고 변화에 대응하며 그에 따라 적응합니다.컴퓨터 환경은 이러한 복잡성을 잘 보여줍니다. 폴더는 이동하고, 파일은 사라지고, 애플리케이션은 서로 얽힌 방식으로 상호 작용합니다.실제 워크플로는 끊임없이 변화하는 비결정적 환경에서 실행되지만 인간은 빠르게 학습하고 적응합니다.사람처럼 작동하는 에이전트는 실제 시나리오에서도 적응해야 합니다.

이로 인해 역설이 생깁니다. 가장 신뢰할 수 있는 에이전트가 혼란스러운 환경에서는 신뢰할 수 없게 될 수 있습니다.

안정성 vs 유연성

현실 세계는 컴퓨터, 스타트업, 사회 등 변화와 국가적 시스템으로 가득 차 있습니다.이러한 혼란 속에서 가치 있는 일을 하려면 적응력이 필요합니다.살아남은 것은 빠르게 적응하는 사람들입니다. 이는 모델이 대규모 데이터 세트에서 한 번 학습되고 변화가 적은 환경에서만 잘 작동하는 사전 훈련의 한계를 드러냅니다.

현실 세계의 혼란 속에서 우리는 할 수 있는 에이전트를 만들어야 합니다. 옳은 오류를 신속하고 신속하게 처리합니다.이것이 바로 본질입니다. 지속적인 학습.상담원이 실수를 감지하고 충분히 빠르게 방향을 수정할 수 있다면, 그 불안정성은 거의 보이지 않게 됩니다.

이 방법에는 한 가지 문제가 있습니다. 일반적으로 문제를 처음 탐색하는 사람이 실패의 대가를 치르게 된다는 것입니다.적어도 현재로서는 실질적인 해결책은 타협입니다.상담원이 이상한 것을 발견하면 실수를 저지르기보다는 잠시 멈추고 문제를 신고해야 합니다.그러면 전문 시스템 또는 사람이 상담원이 다시 시작되기 전에 문제를 진단하고 해결할 수 있습니다.이로 인해 위험이 광범위하게 분산되기보다는 전문가들 사이에 집중됩니다.

이 솔루션은 상담원이 보다 예측 가능하고 반복적인 작업에 집중하는 동안 직원이 고부가가치의 전문 작업을 처리하는 것입니다.하지만 가정이 틀리면 어떻게 될까요?인공지능이 반복적이고 예측 가능한 작업을 처리하는 동안 인간은 일회성 판단에 초점을 맞추는 것이 장기적 비전입니다.하지만 이러한 가정이 잘못된 것으로 판명되면, 즉 AI가 인간보다 일회성 작업을 더 잘 수행하고 신뢰할 수 있는 작업에서는 더 나쁜 것으로 판명되면 우리는 바람직하지 않은 시나리오에 직면하게 됩니다. 인간이 반복 노동에 내몰리는 동안 AI가 엘리트를 대체하여 가치가 높은 일회성 판단을 내리는 것입니다.