コンピュータ利用エージェントの構築における相反するものの統一

コンピュータを使用するエージェントを構築するには、人間と機械、自然言語とプログラミング言語、エントロピーと秩序、柔軟性と信頼性など、さまざまな対立を解決する必要があります。これらの緊張関係がどのように相互作用してマシンインテリジェンスを実現するのかを理解するには、まず最初に、エージェントが実際に「優れた」ものになる理由を明らかにする必要があります。

—

人工知能は 実証済み コンピューター環境での操作は人間と同等ですが 能力 汎用人工知能だけでは不十分です。 信頼性 同じくらい重要です。

面接の質問にはすべて正解したが、最初の1週間で重大なミスを3回犯した候補者を採用したとします。緊急の締め切りに直面した場合、あなたは代わりに、完了率が 99% の、それほど印象的でない同僚に頼るでしょう。

この原則は、人工知能分野が「pass @k」ベンチマーク（一度成功する）から「pass」ベンチマークから（一度成功した）へとシフトしている理由を説明しています。 「パス^k」メトリックス その尺度は同じような条件下で繰り返し成功しました。AGIは単に特定のタスクを実行できるシステムではなく、実行できるシステムです。 確実に 彼らは過去の過ちから学ぶので、何度も結果を出すことができます。

しかし、コンピューターを使用するエージェントがこの種の信頼性を達成するのを妨げるものは何でしょうか。課題の一端は、人間のコミュニケーションとコンピューターのルールとの根本的な違いにあります。

人間言語とプログラミング言語

人工知能の信頼性を実現するには、扱いにくい現実に立ち向かわなければなりません。人間の言語は、そのコミュニケーション力、説得力、感情力のすべてにもかかわらず、非常に曖昧で、実行するにはひどいものです。次のようなおなじみの日常的なやり取りを考えてみてください。

‍「夕食に何を食べる？」
「私は何でも大丈夫です。」
「寿司はどう？」
「うーん、昨日食べたよ。」
「ピザ？」
「寝る前はちょっと重い。」

‍人間がお互いを理解し合うのに苦労しているのなら、どうして機械が私たちの願いを確実に実行することを期待できるでしょうか？ これは、人間に代わってコンピューターを操作するように設計されたエージェントにとって非常に重要です。コンピュータシステムが人間の命令を思い通りに実行するためには、人間を完全に理解する必要があります。言い換えれば、信頼できるエージェントとは、人間の曖昧さを解読できるエージェントです。

コンピュータコードはその逆です。明示的で、厳密で、したがって信頼性があります。これは興味深い緊張感を生み出します。自然で人に優しいインターフェースを望むなら、決定論に妥協することになります。信頼性の高い実行を実現するには、決定論的なコードが必要です。今日の AI システムは、これらの 2 つの極の間に位置するのが苦手です。

この緊張に対処する1つのアプローチは、エージェントに2つの「頭脳」を与えることです。1つは自然言語で人間と会話する頭脳で、もう1つは決定論的コードでタスクを実行する頭脳です。Simular のエージェントは シミュラン あいまいな自然言語命令を構造化された繰り返し可能なコマンドに変換するシステム。いったんコードでレンダリングされると、アクションは繰り返し可能になり、管理も可能になります。

エントロピーとオーダー

人間の曖昧さをコードに変換しても、エージェントの課題の半分しか解決できません。信頼性そのものは、エントロピー、つまり宇宙の容赦ない無秩序への流れに抵抗した結果です。部屋は散らかってしまいます。従業員の士気が下がる。組織は、人間の混乱に秩序を押し付け、不確実性を予測可能性に変えるためだけに存在しています。コードは、人間の無秩序な考え方を秩序ある決定論的なシステムに変えるためのツールです。

これが、今日のAIにおける最も差し迫った課題が、ステートレスな問題（大部分が解決されたスタンドアロンのテキストや画像の生成）ではなく、ステートフルな問題である理由です。ステートフル・システムは常に環境を監視し、変化に対応し、それに応じて適応します。コンピュータ環境はこの複雑さを体現しています。フォルダは移動し、ファイルは消え、アプリケーションは相互に絡み合って相互作用します。実際のワークフローは、人間がすばやく学習して適応する一方で、常に変化する非決定的な環境の中で実行されます。人間のように働くエージェントは、現実世界のシナリオにも適応する必要があります。

これは逆説につながります。最も信頼できるエージェントは、混沌とした環境では信頼性が低下する可能性があります。

信頼性と柔軟性

現実の世界には、コンピューター、スタートアップ、社会など、変化とステートフルなシステムがたくさんあります。このような混乱の中、価値ある仕事には適応力が必要です。生き残るのは、すぐに適応できる人たちです。つまり、大規模なデータセットで一度モデルをトレーニングすれば、変化の少ない環境でしかうまく機能しないという、事前トレーニングの限界が明らかになります。

現実世界の混乱の中で、私たちはできるエージェントを作る必要があります 正しい 彼らのエラーは迅速かつタイムリーです。これが本質です 継続的な学習。エージェントがミスを検出し、十分な速さで修正できれば、その不安定さはほとんど見えなくなります。

この方法には落とし穴があります。通常、最初に問題を探る人が失敗の代償を払います。少なくとも今のところ、現実的な解決策は妥協です。エージェントが何か異常なことを検出した場合、エラーを前に進めるのではなく、一時停止して問題にフラグを立てるべきです。その後、エージェントが再開する前に、専門のシステム (または人間) が問題を診断して解決できます。これにより、リスクを広範囲に分散させるのではなく、専門家に集中させることができます。

このソリューションでは、担当者がより予測可能で反復的なタスクに集中する一方で、高価値で専門性の高い作業は人間が担当し、分業を前提としています。しかし、その前提が間違っていたらどうなるでしょうか。長期的なビジョンでは、人間は一回限りの判断に集中し、AIは反復的で予測可能なタスクを処理します。しかし、この仮定が間違っていると判明した場合、つまり、AIが人間よりも1回限りのタスクを実行するのが得意で、信頼できる仕事では不十分であることが判明した場合、私たちは望ましくないシナリオに直面します。それは、人間は反復労働に追いやられている一方で、AIは価値の高い1回限りの判断を下すことでエリートに取って代わられるという望ましくないシナリオです。