Использование компьютера — ИИ управляет вашим ПК

Представьте: вы глубоко погружены в отчёт, а ваш ИИ-ассистент тихо раскладывает по папкам файлы, заполняет формы и листает веб-страницы на «виртуальном экране» рядом с вами — как невидимый коллега, который никогда не отвлекает вас от работы.

Именно это и делает Computer Use в Hermes Agent. Он позволяет ИИ видеть содержимое вашего экрана и имитировать клики, ввод текста, прокрутку и перетаскивание — не двигая вашу мышь, не перехватывая фокус клавиатуры и не переключая ваш виртуальный рабочий стол. Вы и ИИ работаете бок о бок на одной машине, совершенно независимо.

Какие модели ИИ работают?

Почти любая модель, которая умеет вызывать инструменты — Claude, GPT, Gemini, даже локальные опенсорсные модели. Hermes не привязывает вас к проприетарному формату. Никакого специального синтаксиса Anthropic учить не нужно. Просто подключите свою любимую модель и вперёд.

Как это работает?

Hermes использует опенсорсный драйвер под названием cua-driver. Он считывает элементы на экране (кнопки, поля ввода, меню) через интерфейсы доступности, а затем отправляет имитированные действия в целевое окно. Под капотом каждая ОС использует свой нативный слой доступности:

macOS: AX (Accessibility) — отправляет события без перемещения реального курсора
Windows: UIAutomation — ввод не перехватывает фокус
Linux: AT‑SPI (X11 и Wayland) — не вмешивается в ваше активное окно

Главный принцип: никогда не принуждать окно к выводу на передний план. Интересно, почему это важно? Смотрите контракт «no-foreground».

Как включить — два способа

Вариант 1: Прямая команда в терминале (самый простой)

hermes computer-use install

Затем проверьте:

hermes computer-use status

Вариант 2: Интерактивная настройка

hermes tools

Выберите 🖱️ Computer Use (macOS/Windows/Linux) из списка — он автоматически запустит тот же установщик.

Разрешения после установки

Выдайте вашему терминалу (или приложению Hermes) пару разрешений:

macOS: Системные настройки → Конфиденциальность и безопасность → включите Специальные возможности и Запись экрана. Не уверены, что нужно? Запустите hermes computer-use doctor — он точно скажет, чего не хватает.
Windows: Для локального использования ничего дополнительно не нужно. Для удалённого доступа по SSH следуйте руководству по Windows‑SSH.
Linux: Установите DISPLAY (X11) или XDG_SESSION_TYPE=wayland (для Wayland нужен мост XWayland). Убедитесь, что AT‑SPI запущен (в GNOME/KDE он включён по умолчанию).

Начинаем использовать

После установки и настройки разрешений запустите чат с набором инструментов:

hermes -t computer_use chat

Или добавьте computer_use в ~/.hermes/config.yaml в раздел toolsets, чтобы автоматически включать его в каждой сессии.

Режим разрешений и вход в браузер

Hermes проецирует свою существующую систему одобрения на неизменяемый режим демона cua-driver — так что не нужно запоминать второй переключатель разрешений. Тот же знакомый вам процесс «одобрить/отклонить» работает и здесь. Прежде чем ИИ коснётся вашего экрана, он сначала спросит вас. Безопасно и просто.

Итоги и практические советы

Суть: Computer Use = ИИ работает над «фоновой копией» вашего экрана, пока вы занимаетесь своими делами.

Совет профи: Перед первым реальным заданием запустите hermes computer-use doctor, чтобы проверить разрешения. Если клики не срабатывают, в 90% случаев дело в отсутствии доступа к записи экрана или специальным возможностям — не переустанавливайте, просто проверьте диагностику. Также сначала протестируйте ввод текста и прокрутку в пустом окне блокнота. Освойтесь там, а затем выпускайте ИИ на реальные приложения.