Présentation de SimuLang : Playwright pour l'ensemble du bureau
par Ang Li • Palo Alto, Californie • 23 avril 2026
Qu'est-ce que Simulang
Simulang est un langage de script pour automatiser les navigateurs, les applications natives et les workflows au niveau du système d'exploitation — conçu pour être écrit par des agents IA. Nous venons d'ouvrir le code source de Simulang. Vous pouvez l'installer maintenant avec une seule commande :
Pourquoi nous l'avons construit
Récemment, j'ai remarqué que le temps que je passais devant l'ordinateur avait été considérablement réduit à environ deux heures par jour. Il y a un an, j'avais facilement huit ans. La différence, c'est que les agents informatiques (CUA) s'améliorent de plus en plus à mesure que l'industrie fabrique enfin des agents capables de voir et d'agir comme des humains.
Simulang est un langage unique qui les contrôle tous.
Ce qui unifie Simulang : écrire une fois, rejouer pour toujours
Les fonctionnalités ci-dessus partagent une seule décision architecturale qui rend tout le reste possible : la relecture déterministe.
Cela a deux conséquences qui définissent le produit :
Vitesse. Chaque action prend moins de 50 millisecondes — le temps nécessaire pour interroger une API locale et exécuter un clic. Pas de capture d'image, pas de téléchargement, pas de raisonnement de modèle. Un workflow en 20 étapes se termine en moins d'une seconde. Les agents basés sur des captures d'écran prennent 3 à 5 secondes par action pour le même workflow, ce qui les rend 60 à 100 fois plus lents à grande échelle.
Coût. Un script Simulang ne consomme aucun jeton lors de la relecture. Vous payez pour le raisonnement du LLM lorsque le script est créé pour la première fois (ou lorsque Sai le génère à partir du langage naturel). Après cela, chaque exécution ultérieure est gratuite — pas d'appels API, pas de traitement cloud, pas de frais par exécution. Pour les équipes exécutant des centaines de workflows automatisés quotidiennement, c'est la différence entre une solution viable et une solution prohibitivement chère. Ce ne sont pas des améliorations incrémentales. Ce sont des avantages structurels qui découlent du choix de la bonne abstraction : des éléments sémantiques au lieu de pixels, une exécution locale au lieu d'une inférence cloud, des références déterministes au lieu d'hypothèses probabilistes.
Ce que fait Simulang
Vous pourriez vous demander :a single library and drive the operating system through its accessibility APIs -- the same structured interface that screen readers use.
Un script Simulang peut :
- Ouvrir n'importe quelle application — navigateurs, applications de bureau natives, boîtes de dialogue système, gestionnaires de fichiers.
- Lire l'arbre d'accessibilité — chaque bouton, champ de texte, élément de menu et étiquette exposé comme un élément structuré et adressable par référence.
- Interagir de manière déterministe — cliquer, taper, sélectionner, basculer, faire défiler, développer/réduire — par référence d'élément, pas par coordonnées de pixel.
- Se rabattre sur la vision — lorsqu'une application n'expose pas de données d'accessibilité, Simulang utilise l'ancrage visuel au niveau du pixel pour localiser les éléments à l'écran.
Cela signifie qu'un seul script peut ouvrir Chrome, remplir un formulaire, passer à Excel, coller les résultats dans une feuille de calcul, puis ouvrir Slack et envoyer un message — sans basculer entre trois outils d'automatisation différents.
Comment ça marche : deux façons de voir l'écran
Pour citer le partenaire général d'a16z
Arbre d'accessibilité (rapide et exact) : Le système d'exploitation expose un arbre structuré de chaque élément d'interface utilisateur — boutons, champs de texte, menus, étiquettes — avec des rôles et des noms sémantiques. Simulang lit cet arbre, attribue un ID de référence à chaque élément et permet au script d'interagir par référence. Temps de réponse : millisecondes. Précision : déterministe.
Ancrage visuel (solution de repli pour les interfaces utilisateur opaques) : Certaines applications — jeux, canevas rendus sur mesure, applications Electron avec une faible accessibilité — n'exposent pas un arbre utile. Pour celles-ci, Simulang prend une capture d'écran et utilise un modèle de vision pour localiser l'élément cible par description. Temps de réponse : 1-2 secondes. Précision : élevée mais probabiliste.
La plupart des automatisations réelles utilisent l'arbre d'accessibilité pour 95 % des interactions et se rabattent sur la vision pour les 5 % restants. L'auteur du script n'a pas besoin de décider – Simulang gère le routage.
Simulang + agents de codage
Simulang ne se limite pas aux scripts autonomes. Il peut servir de couche d'exécution pour les agents de codage IA qui doivent interagir avec l'interface graphique.
Claude Code, l'agent de codage d'Anthropic basé sur la CLI, est un complément naturel. Claude Code écrit et modifie du code, exécute des tests et crée des requêtes de tirage (pull requests) — mais il ne peut pas ouvrir un navigateur pour vérifier ce qu'il a construit, parcourir un processus de paiement en cliquant, ou confirmer visuellement qu'une modification de l'interface utilisateur a été rendue correctement. Simulang comble cette lacune.
Avec l'intégration Simulang + Claude Code, vous obtenez une boucle complète de la conception à la vérification : Claude Code écrit une fonctionnalité, et Simulang ouvre le navigateur, teste l'expérience utilisateur réelle, capture des captures d'écran du résultat et fait un rapport – le tout dans la même session. L'agent de codage gère le terminal. Simulang gère l'écran.
La configuration ne nécessite qu'une seule modification.
Documentation complète : docs.simular.ai/simulang/simulang-claude-code
Comment ça marche : deux façons de voir l'écran
Automatisation des flux de travail : « Chaque matin, ouvrez Gmail, trouvez les factures non lues, extrayez les montants, collez-les dans une feuille Google et envoyez un résumé Slack à #comptabilité. »
QA et tests : « Ouvrez notre application de bureau, accédez aux Paramètres, modifiez chaque préférence, vérifiez que l'interface utilisateur se met à jour correctement et faites une capture d'écran de toute défaillance. »
Collecte de données : « Ouvrez LinkedIn, recherchez « ingénieur IA à San Francisco », collectez les 50 premiers profils et exportez-les vers un fichier CSV. »
Opérations informatiques : « Ouvrez les Préférences Système, vérifiez que FileVault est activé, assurez-vous que le pare-feu est actif et enregistrez les résultats dans notre tableau de bord de conformité. »
Surveillance e-commerce multiplateforme : « Ouvrez Shopee, Lazada et Amazon dans trois onglets de navigateur, collectez les prix des concurrents et les données de ventes quotidiennes pour 20 SKU, collez les résultats dans une feuille de calcul de suivi dans Excel et signalez toute baisse de prix dans Slack. »
Publication croisée sur les réseaux sociaux : « Prenez un fichier vidéo terminé, ouvrez TikTok et téléchargez-le avec la première légende, passez à Instagram Reels et téléchargez-le avec une deuxième légende, ouvrez LinkedIn et publiez-le avec une troisième version, puis enregistrez les trois URL dans un calendrier de contenu Google Sheet. »
Consolidation de fichiers multiples sur le bureau : « Ouvrez le Finder, accédez au dossier des rapports mensuels, ouvrez chacun des douze fichiers Excel un par un, copiez la ligne de résumé de chacun, collez les douze dans une feuille de calcul principale et enregistrez le fichier consolidé sur Google Drive. »
Chacune de ces tâches implique plusieurs applications et interfaces utilisateur. Simulang les gère dans un seul script.
Reconnaissance
La recherche derrière Simulang a été reconnue par les communautés académique et d'ingénierie :
Meilleur article à l'ICLR 2025 -- la conférence de référence en apprentissage automatique
N°1 au benchmark OSWorld -- l'évaluation standard pour les agents d'automatisation de bureau
Lancement en tête sur Product Hunt -- plébiscité par la communauté des développeurs
Commencez dès maintenant
Installez Simulang et écrivez votre premier script :
Documentation complète : docs.simular.ai/Simulang
Simulang est open source. La bibliothèque, l'interface en ligne de commande (CLI) et la documentation sont toutes disponibles sur GitHub.
Construire des ordinateurs autonomes ne signifie pas remplacer les humains. Cela signifie coopération.
Libérez vos mains de l'ordinateur. Téléchargez Simular dès aujourd'hui gratuitement.
