Utilisation de l'ordinateur — L'IA opère votre PC

Imaginez-vous en pleine rédaction d’un rapport, pendant que votre assistant IA réorganise tranquillement des dossiers, remplit des formulaires et fait défiler des pages web sur un « écran virtuel » à côté de vous — comme un collègue invisible qui ne vous interrompt jamais dans votre flux de travail.

C’est exactement ce que fait Computer Use dans Hermes Agent. Il permet à l’IA de voir le contenu de votre écran et de simuler des clics, de la frappe, des défilements et des glisser-déposer — sans déplacer votre souris, sans voler le focus clavier, ni changer votre bureau virtuel. Vous et l’IA travaillez côte à côte sur la même machine, en toute indépendance.

Quels modèles d’IA fonctionnent ?

Presque tous les modèles capables d’appeler des outils — Claude, GPT, Gemini, même les modèles open source locaux. Hermes ne vous enferme pas dans un format propriétaire. Pas de syntaxe spéciale Anthropic à apprendre. Branchez simplement votre modèle préféré et c’est parti.

Comment ça marche ?

Hermes utilise un pilote open source appelé cua-driver. Il lit les éléments à l’écran (boutons, champs de saisie, menus) via les interfaces d’accessibilité, puis envoie des actions simulées à la fenêtre cible. En coulisses, chaque système d’exploitation utilise sa couche d’accessibilité native :

macOS : AX (Accessibility) — envoie des événements sans déplacer le curseur réel
Windows : UIAutomation — les entrées ne volent pas le focus
Linux : AT-SPI (X11 & Wayland) — reste hors de votre premier plan

Le principe fondamental : ne jamais forcer une fenêtre au premier plan. Curieux de savoir pourquoi c’est important ? Consultez le contrat de non-premier plan.

Activer — Deux méthodes

Option 1 : Ligne de commande directe (la plus simple)

hermes computer-use install

Puis vérifiez :

hermes computer-use status

Option 2 : Configuration interactive

hermes tools

Sélectionnez 🖱️ Computer Use (macOS/Windows/Linux) dans la liste — cela lance automatiquement le même programme d’installation.

Autorisations après installation

Accordez quelques autorisations à votre terminal (ou à l’application Hermes) :

macOS : Réglages Système → Confidentialité et sécurité → activez Accessibilité et Enregistrement de l’écran. Pas sûr ? Lancez hermes computer-use doctor — il vous indique exactement ce qui manque.
Windows : L’utilisation locale ne nécessite rien de plus. Pour un accès distant via SSH, suivez le guide Windows-SSH.
Linux : Définissez DISPLAY (X11) ou XDG_SESSION_TYPE=wayland (Wayland nécessite le pont XWayland). Assurez-vous qu’AT-SPI est actif (GNOME/KDE l’activent par défaut).

Commencer à l’utiliser

Après l’installation et les autorisations, lancez une conversation avec l’ensemble d’outils :

hermes -t computer_use chat

Ou ajoutez computer_use à ~/.hermes/config.yaml sous toolsets pour l’activer automatiquement à chaque session.

Mode d’autorisation et connexion navigateur

Hermes mappe son système d’approbation existant sur le mode démon immuable de cua-driver — donc pas de second interrupteur d’autorisation à mémoriser. Le même flux approuver/refuser que vous connaissez déjà s’applique. Avant que l’IA ne touche à votre écran, elle vous demande d’abord. Simple et sûr.

Résumé et conseils pratiques

En résumé : Computer Use = l’IA travaille sur une « copie en arrière-plan » de votre écran pendant que vous continuez vos activités.

Astuce de pro : Avant votre première vraie tâche, lancez hermes computer-use doctor pour vérifier les autorisations. Si les clics n’aboutissent pas, 90 % du temps c’est un accès manquant à l’enregistrement d’écran ou à l’accessibilité — ne réinstallez pas, vérifiez simplement les diagnostics. Testez aussi la frappe et le défilement dans une fenêtre de bloc-notes vide d’abord. Familiarisez-vous avec, puis laissez-le agir sur de vraies applications.