Uso de Computadora — La IA Opera Tu PC

Imagina que estás concentrado en un informe y tu asistente de IA está reorganizando carpetas, rellenando formularios y desplazándose por páginas web en una “pantalla virtual” a tu lado, como un compañero invisible que nunca interrumpe tu flujo.

Eso es exactamente lo que hace Computer Use en Hermes Agent. Permite que la IA vea el contenido de tu pantalla y simule clics, escritura, desplazamiento y arrastre—sin mover tu ratón, robar el foco del teclado ni cambiar tu escritorio virtual. Tú y la IA trabajáis codo con codo en la misma máquina, de forma totalmente independiente.

¿Qué modelos de IA funcionan?

Casi cualquier modelo que pueda llamar herramientas—Claude, GPT, Gemini, incluso modelos locales de código abierto. Hermes no te encierra en un formato propietario. No hay sintaxis especial de Anthropic que aprender. Solo conecta tu modelo favorito y listo.

¿Cómo lo consigue?

Hermes utiliza un controlador de código abierto llamado cua-driver. Lee los elementos en pantalla (botones, campos de entrada, menús) a través de interfaces de accesibilidad y luego envía acciones simuladas a la ventana objetivo. Internamente, cada sistema operativo usa su capa de accesibilidad nativa:

• macOS: AX (Accessibility) — envía eventos sin mover el cursor real
• Windows: UIAutomation — las entradas no roban el foco
• Linux: AT‑SPI (X11 y Wayland) — se mantiene fuera de tu primer plano

El principio fundamental: nunca forzar una ventana al primer plano. ¿Curioso por qué importa? Consulta el contrato de no‑primer‑plano.

Actívalo — Dos formas

Opción 1: Línea de comandos directa (la más fácil)

hermes computer-use install

Luego verifica:

hermes computer-use status

Opción 2: Configuración interactiva

hermes tools

Selecciona 🖱️ Computer Use (macOS/Windows/Linux) de la lista—ejecuta el mismo instalador automáticamente.

Permisos posteriores a la instalación

Concede a tu terminal (o a la App de Hermes) un par de permisos:

• macOS: Ajustes del Sistema → Privacidad y Seguridad → activa Accesibilidad y Grabación de Pantalla. ¿No sabes cuál falta? Ejecuta hermes computer-use doctor—te dice exactamente qué falta.
• Windows: El uso local no necesita nada extra. Para acceso remoto por SSH, sigue la guía de Windows‑SSH.
• Linux: Configura DISPLAY (X11) o XDG_SESSION_TYPE=wayland (Wayland necesita el puente XWayland). Asegúrate de que AT‑SPI esté en ejecución (GNOME/KDE lo activan por defecto).

Empieza a usarlo

Después de instalar y conceder permisos, inicia un chat con el conjunto de herramientas:

hermes -t computer_use chat

O añade computer_use a ~/.hermes/config.yaml bajo toolsets para activarlo automáticamente en cada sesión.

Modo de permisos e inicio de sesión en el navegador

Hermes mapea su sistema de aprobación existente sobre el modo daemon inmutable de cua‑driver—así que no hay un segundo interruptor de permisos que recordar. El mismo flujo de aprobar/rechazar que ya conoces se aplica aquí. Antes de que la IA toque tu pantalla, te lo pregunta primero. Seguro y sencillo.

Resumen y consejos prácticos

En resumen: Computer Use = la IA trabaja en una “copia de fondo” de tu pantalla mientras tú sigues con lo tuyo.

Consejo profesional: Antes de tu primera tarea real, ejecuta hermes computer-use doctor para verificar los permisos. Si los clics no aterrizan, el 90% de las veces es porque falta el acceso a Grabación de Pantalla o Accesibilidad—no reinstales, solo revisa los diagnósticos. Además, prueba escribir y desplazarte en una ventana de bloc de notas vacía primero. Familiarízate ahí y luego déjala suelta en aplicaciones reales.

---