Uso do Computador — IA Opera Seu PC | Easy Understand Hermes Agent

Imagine que você está focado num relatório, e o seu assistente de IA está, calmamente, a reorganizar pastas, a preencher formulários e a percorrer páginas web num “ecrã virtual” ao seu lado — como um colega invisível que nunca interrompe o seu fluxo de trabalho.

É exatamente isto que o Computer Use no Hermes Agent faz. Permite que a IA veja o conteúdo do seu ecrã e simule cliques, escrita, scroll e arrastar — sem mover o seu rato, roubar o foco do teclado ou mudar o seu ambiente de trabalho virtual. Você e a IA trabalham lado a lado na mesma máquina, de forma totalmente independente.

Quais Modelos de IA Funcionam?

Quase qualquer modelo que consiga chamar ferramentas — Claude, GPT, Gemini, até modelos open-source locais. O Hermes não o prende a um formato proprietário. Sem sintaxe especial da Anthropic para aprender. Basta ligar o seu modelo favorito e avançar.

Como É Que Isto É Possível?

O Hermes usa um driver open-source chamado cua-driver. Ele lê os elementos no ecrã (botões, caixas de entrada, menus) através de interfaces de acessibilidade e, em seguida, envia ações simuladas para a janela de destino. Nos bastidores, cada sistema operativo usa a sua camada de acessibilidade nativa:

macOS: AX (Accessibility) — envia eventos sem mover o cursor real
Windows: UIAutomation — as entradas não roubam o foco
Linux: AT‑SPI (X11 & Wayland) — mantém-se fora do seu primeiro plano

O princípio central: nunca forçar uma janela para o primeiro plano. Curioso sobre a importância disto? Consulte o contrato de não-primeiro-plano.

Ativar — Duas Formas

Opção 1: Linha de comando direta (mais fácil)

hermes computer-use install

Depois, verifique:

hermes computer-use status

Opção 2: Configuração interativa

hermes tools

Selecione 🖱️ Computer Use (macOS/Windows/Linux) na lista — executa o mesmo instalador automaticamente.

Permissões Pós-Instalação

Dê ao seu terminal (ou à App Hermes) algumas permissões:

macOS: Definições do Sistema → Privacidade e Segurança → ative Acessibilidade e Gravação de Ecrã. Não sabe qual? Execute hermes computer-use doctor — ele diz-lhe exatamente o que está em falta.
Windows: O uso local não precisa de nada extra. Para acesso remoto via SSH, siga o guia Windows‑SSH.
Linux: Defina DISPLAY (X11) ou XDG_SESSION_TYPE=wayland (Wayland precisa da ponte XWayland). Garanta que o AT‑SPI está em execução (GNOME/KDE ativam-no por predefinição).

Começar a Usar

Após a instalação e permissões, inicie um chat com o conjunto de ferramentas:

hermes -t computer_use chat

Ou adicione computer_use a ~/.hermes/config.yaml em toolsets para o ativar automaticamente em todas as sessões.

O Hermes mapeia o seu sistema de aprovação existente para o modo daemon imutável do cua-driver — portanto, não há um segundo botão de permissão para lembrar. O mesmo fluxo de aprovar/negar que já conhece aplica-se aqui. Antes de a IA tocar no seu ecrã, ela pergunta primeiro. Seguro e simples.

Resumo & Dicas Práticas

Conclusão: Computer Use = a IA trabalha numa “cópia em segundo plano” do seu ecrã enquanto você continua a fazer o que está a fazer.

Dica profissional: Antes da sua primeira tarefa real, execute hermes computer-use doctor para verificar as permissões. Se os cliques não estiverem a funcionar, 90% das vezes é falta de acesso à Gravação de Ecrã ou Acessibilidade — não reinstale, apenas verifique os diagnósticos. Além disso, teste a escrita e o scroll numa janela de bloco de notas em branco primeiro. Familiarize-se com isso e depois deixe-o à solta em aplicações reais.