L'unité des contraires dans la création d'agents informatiques

Pour créer des agents utilisant des ordinateurs, il faut résoudre divers contraires : l'homme contre les machines, le langage naturel contre le langage de programmation, l'entropie contre l'ordre, et la flexibilité contre la fiabilité. Pour comprendre comment ces tensions interagissent pour atteindre l'intelligence artificielle, nous devons d'abord déterminer ce qui rend réellement un agent « bon ».

—

L'IA a prouvé aussi capables que les humains dans des environnements informatiques opérationnels, mais capacité à elle seule, l'intelligence artificielle générale ne suffit pas. Fiabilité est tout aussi important.

Supposons que vous ayez embauché un candidat qui a répondu à toutes les questions de l'entretien, mais qui a commis trois erreurs critiques au cours de sa première semaine. Face à une échéance urgente, vous vous tourneriez probablement vers un collègue moins impressionnant avec un taux d'achèvement de 99 %.

Ce principe explique pourquoi le domaine de l'IA s'éloigne des critères de référence « pass @k » (réussir une fois) au profit de Métriques « pass^k » qui mesurent le succès répété dans des conditions similaires. AGI n'est pas simplement un système capable d'effectuer certaines tâches, mais aussi un système qui peut de manière fiable obtenir des résultats maintes et maintes fois parce qu'ils apprennent de leurs erreurs passées.

Mais qu'est-ce qui empêche les agents utilisant des ordinateurs d'atteindre ce type de fiabilité ? Le défi réside en partie dans la différence fondamentale entre la communication humaine et les règles informatiques.

Langage humain contre langage de programmation

Atteindre la fiabilité de l'IA nous oblige à faire face à une réalité embarrassante : le langage humain, malgré son pouvoir communicatif, persuasif et émotif, est profondément ambigu et difficile à exécuter. Pensez à cet échange quotidien familier :

‍« Que veux-tu pour dîner ? »
« Je suis d'accord avec tout. »
« Que diriez-vous de sushis ? »
« Hmm, je l'ai mangé hier. »
« Une pizza ? »
« C'est un peu lourd avant d'aller au lit. »

‍Si les humains ont du mal à se comprendre, comment pouvons-nous nous attendre à ce que les machines exécutent nos souhaits de manière fiable ? Cela est très important pour les agents conçus pour faire fonctionner des ordinateurs pour le compte des humains. Un système informatique doit comprendre parfaitement les humains afin d'exécuter leurs commandes comme il le souhaite. En d'autres termes, un agent fiable est un agent capable de déchiffrer l'ambiguïté humaine.

Le code informatique est le contraire : explicite, rigide et donc fiable. Cela crée une tension intéressante : si vous voulez une interface naturelle et conviviale, vous faites des compromis sur le déterminisme. Si vous voulez une exécution fiable, vous avez besoin d'un code déterministe. Les systèmes d'IA d'aujourd'hui se situent mal à l'aise entre ces deux pôles.

Une approche pour remédier à cette tension consiste à doter les agents de deux « cerveaux » : l'un qui converse en langage naturel avec les humains, l'autre qui exécute des tâches en code déterministe. Les agents de Simular utilisent Simulateur système permettant de traduire des instructions ambiguës en langage naturel en commandes structurées et répétables. Une fois rendues dans le code, les actions deviennent à la fois répétables et contrôlables.

Entropie contre ordre

La traduction de l'ambiguïté humaine en code ne permet de résoudre que la moitié du défi agentique. La fiabilité elle-même est le résultat de la résistance à l'entropie, la dérive inexorable de l'univers vers le désordre. Les chambres sont en désordre. Le moral des employés se dégrade. Les organisations existent précisément pour mettre de l'ordre dans le chaos humain, transformant l'incertitude en prévisibilité. Le code est un outil qui permet de transformer des idées humaines désordonnées en systèmes déterministes ordonnés.

C'est pourquoi le défi le plus urgent de l'IA aujourd'hui ne concerne pas les problèmes d'apatridie, c'est-à-dire la génération de texte ou d'images autonomes, qui ont été en grande partie résolus, mais les problèmes liés à l'état. Les systèmes dynamiques observent en permanence leur environnement, réagissent aux changements et s'adaptent en conséquence. Les environnements informatiques incarnent cette complexité : les dossiers se déplacent, les fichiers disparaissent, les applications interagissent de manière étroitement liée. Les flux de travail réels s'exécutent dans un environnement non déterministe en constante évolution, tandis que les humains apprennent et s'adaptent rapidement. Les agents qui fonctionnent comme des humains doivent également s'adapter à des scénarios du monde réel.

Cela nous amène à un paradoxe : les agents les plus fiables peuvent devenir peu fiables dans un environnement chaotique.

Fiabilité contre flexibilité

Le monde réel est plein de changements et de systèmes dynamiques : ordinateurs, startups, sociétés. Dans un tel chaos, un travail précieux exige de la capacité d'adaptation. Ceux qui survivent sont ceux qui s'adaptent rapidement, une observation qui met en évidence les limites du pré-entraînement, où un modèle est entraîné une seule fois sur un grand ensemble de données et ne fonctionne correctement que dans des environnements à faible variation.

Dans le chaos du monde réel, nous devons créer des agents capables corriger leurs erreurs rapidement et en temps opportun. C'est l'essence de apprentissage continu. Si un agent peut détecter les erreurs et corriger sa trajectoire assez rapidement, son instabilité devient presque invisible.

Cette méthode présente un inconvénient : le premier explorateur du problème paie généralement le prix de l'échec. La solution pratique, du moins pour l'instant, est un compromis. Lorsqu'un agent détecte quelque chose d'inhabituel, il doit faire une pause et signaler le problème au lieu de faire une erreur. Un système spécialisé, ou un humain, peut alors diagnostiquer et résoudre le problème avant que l'agent ne reprenne ses activités. Cela permet de concentrer les risques entre les experts au lieu de les répartir largement.

Cette solution, qui consiste à confier à des personnes des tâches spécialisées de grande valeur alors que les agents se concentrent sur des tâches plus prévisibles et répétitives, suppose une division du travail. Mais que se passe-t-il si l'hypothèse est fausse ? Dans la vision à long terme, les humains se concentrent sur des jugements ponctuels tandis que l'IA gère des tâches répétitives et prévisibles. Mais si cette hypothèse s'avère fausse, si l'IA s'avère plus efficace que les humains pour effectuer des tâches ponctuelles, et moins efficace pour ce qui est du travail fiable, nous sommes confrontés à un scénario indésirable : l'IA remplacera les élites lorsqu'il s'agit de prendre des décisions ponctuelles et de grande valeur, tandis que les humains sont relégués à un travail répétitif.