Computer Use – KI bedient Ihren PC | Easy Understand Hermes Agent

Stell dir vor, du bist mitten in einem Bericht, und dein KI-Assistent sortiert nebenbei leise Ordner, füllt Formulare aus und scrollt auf einem „virtuellen Bildschirm“ neben dir durch Webseiten – wie ein unsichtbarer Kollege, der dich nie bei der Arbeit unterbricht.

Genau das macht Computer Use in Hermes Agent. Es erlaubt der KI, deinen Bildschirminhalt zu sehen und Klicks, Tippen, Scrollen und Ziehen zu simulieren – ohne deine Maus zu bewegen, den Tastaturfokus zu übernehmen oder deinen virtuellen Desktop zu wechseln. Du und die KI arbeitet Seite an Seite auf demselben Rechner, völlig unabhängig voneinander.

Welche KI-Modelle funktionieren?

Fast jedes Modell, das Tools aufrufen kann – Claude, GPT, Gemini, sogar lokale Open-Source-Modelle. Hermes sperrt dich nicht in ein proprietäres Format ein. Keine spezielle Anthropic-Syntax zum Lernen. Schließ einfach dein Lieblingsmodell an und leg los.

Wie macht es das?

Hermes verwendet einen Open-Source-Treiber namens cua-driver. Er liest Bildschirmelemente (Schaltflächen, Eingabefelder, Menüs) über Barrierefreiheits-Schnittstellen aus und sendet dann simulierte Aktionen an das Zielfenster. Unter der Haube nutzt jedes Betriebssystem seine native Barrierefreiheits-Schicht:

macOS: AX (Accessibility) – sendet Ereignisse ohne den echten Cursor zu bewegen
Windows: UIAutomation – Eingaben stehlen keinen Fokus
Linux: AT-SPI (X11 & Wayland) – bleibt aus deinem Vordergrund heraus

Das Kernprinzip: Erzwinge niemals, dass ein Fenster in den Vordergrund kommt. Neugierig, warum das wichtig ist? Sieh dir den No-Foreground-Vertrag an.

Aktivieren – zwei Wege

Option 1: Direkte Befehlszeile (am einfachsten)

hermes computer-use install

Danach überprüfen:

hermes computer-use status

Option 2: Interaktive Einrichtung

hermes tools

Wähle 🖱️ Computer Use (macOS/Windows/Linux) aus der Liste – es führt automatisch denselben Installer aus.

Berechtigungen nach der Installation

Gib deinem Terminal (oder der Hermes App) ein paar Berechtigungen:

macOS: Systemeinstellungen → Datenschutz & Sicherheit → aktiviere Bedienungshilfen und Bildschirmaufnahme. Nicht sicher, welche? Führe hermes computer-use doctor aus – es sagt dir genau, was fehlt.
Windows: Für die lokale Nutzung ist nichts weiter nötig. Für SSH-Fernzugriff folge der Windows-SSH-Anleitung.
Linux: Setze DISPLAY (X11) oder XDG_SESSION_TYPE=wayland (Wayland benötigt die XWayland-Brücke). Stelle sicher, dass AT-SPI läuft (GNOME/KDE aktivieren es standardmäßig).

Erste Schritte

Nach Installation und Berechtigungen starte einen Chat mit dem Toolset:

hermes -t computer_use chat

Oder füge computer_use zu ~/.hermes/config.yaml unter toolsets hinzu, um es automatisch in jeder Sitzung zu aktivieren.

Hermes bildet sein bestehendes Genehmigungssystem auf den unveränderlichen Daemon-Modus des cua-drivers ab – es gibt also keinen zweiten Berechtigungs-Schalter, den du dir merken musst. Derselbe Genehmigen/Ablehnen-Ablauf, den du bereits kennst, gilt auch hier. Bevor die KI deinen Bildschirm berührt, fragt sie zuerst. Sicher und einfach.

Zusammenfassung & praktische Tipps

Fazit: Computer Use = Die KI arbeitet auf einer „Hintergrundkopie“ deines Bildschirms, während du deine eigenen Aufgaben erledigst.

Profi-Tipp: Bevor du deine erste echte Aufgabe startest, führe hermes computer-use doctor aus, um die Berechtigungen zu überprüfen. Wenn Klicks nicht ankommen, liegt es in 90% der Fälle an fehlender Bildschirmaufnahme- oder Bedienungshilfen-Berechtigung – nicht neu installieren, sondern die Diagnose prüfen. Teste außerdem zuerst Tippen und Scrollen in einem leeren Notizblock-Fenster. Mach dich dort vertraut, dann lass es auf echten Apps los.