Wir stellen SimuLang vor: Playwright für den gesamten Desktop
von Ang Li • Palo Alto, Kalifornien • 23. April 2026
Was ist Simulang
Simulang ist eine Skriptsprache zur Automatisierung von Browsern, nativen Apps und Workflows auf Betriebssystemebene – entwickelt, um von KI-Agenten geschrieben zu werden. Wir haben Simulang gerade als Open Source veröffentlicht. Sie können es jetzt mit einem einzigen Befehl installieren:
Warum wir es entwickelt haben
Vor Kurzem bemerkte ich, dass sich meine Zeit am Computer deutlich auf etwa zwei Stunden am Tag reduziert hatte. Vor einem Jahr war ich locker acht Jahre alt. Der Unterschied besteht darin, dass Computer-Use Agents (CUA) immer besser werden, da die Industrie endlich Agenten entwickelt, die sehen und sich wie Menschen verhalten können.
Simulang ist eine Sprache, die sie alle steuert.
Was Simulang vereint: einmal schreiben, immer wieder abspielen
Die oben genannten Funktionen basieren auf einer einzigen architektonischen Entscheidung, die alles andere ermöglicht: deterministische Wiedergabe.
Dies hat zwei Konsequenzen, die das Produkt definieren:
Geschwindigkeit. Jede Aktion dauert weniger als 50 Millisekunden – die Zeit, die benötigt wird, um eine lokale API abzufragen und einen Klick auszuführen. Keine Bilderfassung, kein Upload, keine Modell-Logik. Ein 20-Schritte-Workflow ist in weniger als einer Sekunde abgeschlossen. Screenshot-basierte Agenten benötigen für denselben Workflow 3 bis 5 Sekunden pro Aktion, was sie im großen Maßstab 60- bis 100-mal langsamer macht.
Kosten. Ein Simulang-Skript verbraucht bei der Wiederholung keine Tokens. Sie zahlen für die LLM-Logik, wenn das Skript zum ersten Mal erstellt wird (oder wenn Sai es aus natürlicher Sprache generiert). Danach ist jede weitere Ausführung kostenlos – keine API-Aufrufe, keine Cloud-Verarbeitung, keine Gebühren pro Ausführung. Für Teams, die täglich Hunderte von automatisierten Workflows ausführen, ist dies der Unterschied zwischen praktikabel und unerschwinglich teuer. Dies sind keine inkrementellen Verbesserungen. Es sind strukturelle Vorteile, die sich aus der Wahl der richtigen Abstraktion ergeben: semantische Elemente statt Pixel, lokale Ausführung statt Cloud-Inferenz, deterministische Referenzen statt probabilistischer Vermutungen.
Was Simulang leistet
Du fragst dich vielleicht:a single library and drive the operating system through its accessibility APIs -- the same structured interface that screen readers use.
Ein Simulang-Skript kann:
- Jede Anwendung öffnen – Browser, native Desktop-Apps, Systemdialoge, Dateimanager.
- Den Barrierefreiheitsbaum lesen – jede Schaltfläche, jedes Textfeld, jeder Menüpunkt und jede Beschriftung wird als strukturiertes, referenzierbares Element bereitgestellt.
- Deterministisch interagieren – klicken, tippen, auswählen, umschalten, scrollen, erweitern/reduzieren – über Elementreferenz, nicht über Pixelkoordinaten.
- Auf visuelle Erkennung zurückgreifen – wenn eine Anwendung keine Barrierefreiheitsdaten bereitstellt, verwendet Simulang eine pixelbasierte visuelle Verankerung, um Elemente auf dem Bildschirm zu lokalisieren.
Das bedeutet, ein einziges Skript kann Chrome öffnen, ein Formular ausfüllen, zu Excel wechseln, die Ergebnisse in eine Tabelle einfügen, dann Slack öffnen und eine Nachricht senden – ohne zwischen drei verschiedenen Automatisierungstools wechseln zu müssen.
So funktioniert's: zwei Arten, den Bildschirm zu sehen
Um einen General Partner von a16z zu zitieren
Barrierefreiheitsbaum (schnell und exakt): Das Betriebssystem stellt einen strukturierten Baum jedes UI-Elements – Schaltflächen, Textfelder, Menüs, Beschriftungen – mit semantischen Rollen und Namen bereit. Simulang liest diesen Baum, weist jedem Element eine Referenz-ID zu und ermöglicht dem Skript die Interaktion über diese Referenz. Reaktionszeit: Millisekunden. Genauigkeit: deterministisch.
Visuelle Verankerung (Fallback für undurchsichtige UIs): Einige Anwendungen – Spiele, benutzerdefinierte gerenderte Canvases, Electron-Apps mit schlechter Barrierefreiheit – stellen keinen nützlichen Baum bereit. Für diese erstellt Simulang einen Screenshot und verwendet ein Vision-Modell, um das Zielelement anhand einer Beschreibung zu lokalisieren. Reaktionszeit: 1-2 Sekunden. Genauigkeit: hoch, aber probabilistisch.
Die meisten realen Automatisierungen nutzen den Barrierefreiheitsbaum für 95 % der Interaktionen und greifen für die restlichen 5 % auf die visuelle Erkennung zurück. Der Skriptautor muss sich nicht entscheiden – Simulang übernimmt das Routing.
Simulang + Coding-Agenten
Simulang ist nicht auf eigenständige Skripte beschränkt. Es kann als Ausführungsebene für KI-Coding-Agenten dienen, die mit der GUI interagieren müssen.
Claude Code, Anthropic's CLI-basierter Coding-Agent, ist eine ideale Ergänzung. Claude Code schreibt und bearbeitet Code, führt Tests aus und erstellt Pull-Requests – kann jedoch keinen Browser öffnen, um das Erstellte zu überprüfen, einen Checkout-Prozess durchzuklicken oder visuell zu bestätigen, dass eine UI-Änderung korrekt gerendert wurde. Simulang schließt diese Lücke.
Mit der Simulang + Claude Code Integration erhalten Sie einen vollständigen Code-zu-Verifizierungs-Kreislauf: Claude Code schreibt eine Funktion, und Simulang öffnet den Browser, testet die tatsächliche Benutzererfahrung, erstellt Screenshots des Ergebnisses und meldet dies zurück – alles in derselben Sitzung. Der Coding-Agent kümmert sich um das Terminal. Simulang kümmert sich um den Bildschirm.
Die Einrichtung erfordert eine Konfigurationsänderung.
Vollständige Dokumentation: docs.simular.ai/simulang/simulang-claude-code
So funktioniert's: zwei Möglichkeiten, den Bildschirm zu sehen
Workflow-Automatisierung: „Öffnen Sie jeden Morgen Gmail, suchen Sie ungelesene Rechnungen, extrahieren Sie die Beträge, fügen Sie sie in ein Google Sheet ein und senden Sie eine Slack-Zusammenfassung an #accounting.“
QA und Tests: „Öffnen Sie unsere Desktop-App, navigieren Sie zu den Einstellungen, ändern Sie jede Präferenz, überprüfen Sie, ob die Benutzeroberfläche korrekt aktualisiert wird, und machen Sie Screenshots von Fehlern.“
Datenerfassung: „Öffnen Sie LinkedIn, suchen Sie nach ‚AI engineer in San Francisco‘, sammeln Sie die ersten 50 Profile und exportieren Sie sie in eine CSV-Datei.“
IT-Betrieb: „Öffnen Sie die Systemeinstellungen, überprüfen Sie, ob FileVault aktiviert ist, stellen Sie sicher, dass die Firewall eingeschaltet ist, und protokollieren Sie die Ergebnisse in unserem Compliance-Dashboard.“
Plattformübergreifendes E-Commerce-Monitoring: „Öffnen Sie Shopee, Lazada und Amazon in drei Browser-Tabs, sammeln Sie Wettbewerbspreise und tägliche Verkaufsdaten für 20 SKUs, fügen Sie die Ergebnisse in eine Tracking-Tabelle in Excel ein und markieren Sie Preisrückgänge in Slack.“
Social-Media-Cross-Posting: „Nehmen Sie eine fertige Videodatei, öffnen Sie TikTok und laden Sie sie mit der ersten Bildunterschrift hoch, wechseln Sie zu Instagram Reels und laden Sie sie mit einer zweiten Bildunterschrift hoch, öffnen Sie LinkedIn und posten Sie sie mit einer dritten Version, und protokollieren Sie dann alle drei URLs in einem Google Sheet Content-Kalender.“
Desktop-Konsolidierung mehrerer Dateien: „Öffnen Sie den Finder, navigieren Sie zum Ordner für Monatsberichte, öffnen Sie nacheinander jede der zwölf Excel-Dateien, kopieren Sie die Zusammenfassungszeile aus jeder, fügen Sie alle zwölf in eine Master-Tabelle ein und speichern Sie die konsolidierte Datei in Google Drive.“
Jede dieser Aufgaben betrifft mehrere Anwendungen und mehrere Benutzeroberflächen. Simulang erledigt sie in einem einzigen Skript.
Anerkennung
Die Forschung hinter Simulang wurde von der akademischen und technischen Gemeinschaft anerkannt:
Best Paper auf der ICLR 2025 – die führende Konferenz für maschinelles Lernen
#1 im OSWorld-Benchmark – die Standardbewertung für Desktop-Automatisierungsagenten
Top-Launch auf Product Hunt – von der Entwickler-Community gewählt
Jetzt starten
Installieren Sie Simulang und schreiben Sie Ihr erstes Skript:
Vollständige Dokumentation: docs.simular.ai/Simulang
Simulang ist Open Source. Die Bibliothek, die CLI und die Dokumentation sind alle auf GitHub verfügbar.
Autonome Computer zu bauen bedeutet nicht, Menschen zu ersetzen. Es bedeutet Zusammenarbeit.
Befreie deine Hände vom Computer. Laden Sie Simular noch heute kostenlos herunter.
