Computer Use — AI가 PC를 작동합니다

당신이 깊이 보고서를 작성하고 있는데, AI 어시스턴트가 옆에 있는 “가상 화면”에서 조용히 폴더를 정리하고, 양식을 작성하고, 웹 페이지를 스크롤하고 있다고 상상해 보세요. 마치 흐름을 절대 방해하지 않는 보이지 않는 동료처럼 말이죠.

이것이 바로 Hermes Agent의 Computer Use가 하는 일입니다. AI가 화면 콘텐츠를 보고 클릭, 타이핑, 스크롤, 드래그를 시뮬레이션할 수 있게 해줍니다—마우스를 움직이거나, 키보드 포커스를 빼앗거나, 가상 데스크톱을 전환하지 않고도 말이죠. 당신과 AI는 같은 머신에서 완전히 독립적으로 나란히 작업합니다.

어떤 AI 모델이 작동하나요?

도구 호출이 가능한 거의 모든 모델—Claude, GPT, Gemini, 심지어 로컬 오픈소스 모델까지. Hermes는 독점 형식에 얽매이지 않습니다. 배울 특별한 Anthropic 문법도 없습니다. 좋아하는 모델을 연결하기만 하면 됩니다.

어떻게 이게 가능할까요?

Hermes는 cua-driver라는 오픈소스 드라이버를 사용합니다. 접근성 인터페이스를 통해 화면의 요소(버튼, 입력 상자, 메뉴)를 읽은 다음, 대상 창에 시뮬레이션된 동작을 보냅니다. 내부적으로 각 OS는 자체 네이티브 접근성 레이어를 사용합니다:

• macOS: AX (Accessibility) — 실제 커서를 움직이지 않고 이벤트 전송
• Windows: UIAutomation — 입력이 포커스를 빼앗지 않음
• Linux: AT‑SPI (X11 & Wayland) — 포그라운드에서 벗어나 유지

핵심 원칙: 절대 창을 포그라운드로 강제하지 않는다. 왜 중요한지 궁금하신가요? no‑foreground 계약 문서를 참조하세요.

활성화하기 — 두 가지 방법

방법 1: 직접 명령줄 (가장 쉬움)

hermes computer-use install

그런 다음 확인:

hermes computer-use status

방법 2: 대화형 설정

hermes tools

목록에서 🖱️ Computer Use (macOS/Windows/Linux)를 선택하세요—동일한 설치 프로그램이 자동으로 실행됩니다.

설치 후 권한

터미널(또는 Hermes App)에 몇 가지 권한을 부여하세요:

• macOS: 시스템 설정 → 개인정보 보호 및 보안 → 손쉬운 사용 및 화면 기록 활성화. 잘 모르겠다면 hermes computer-use doctor를 실행하세요—무엇이 빠졌는지 정확히 알려줍니다.
• Windows: 로컬 사용은 추가 권한이 필요 없습니다. SSH 원격 접속의 경우 Windows‑SSH 가이드를 따르세요.
• Linux: DISPLAY(X11) 또는 XDG_SESSION_TYPE=wayland(Wayland는 XWayland 브리지 필요)를 설정하세요. AT‑SPI가 실행 중인지 확인하세요(GNOME/KDE는 기본적으로 활성화).

사용 시작하기

설치 및 권한 부여 후, 도구 세트로 채팅을 시작하세요:

hermes -t computer_use chat

또는 ~/.hermes/config.yaml의 toolsets 아래에 computer_use를 추가하여 매 세션마다 자동으로 활성화할 수 있습니다.

권한 모드 및 브라우저 로그인

Hermes는 기존 승인 시스템을 cua‑driver의 불변 데몬 모드에 매핑합니다—따라서 기억해야 할 두 번째 권한 토글이 없습니다. 이미 알고 있는 동일한 승인/거부 흐름이 적용됩니다. AI가 화면을 건드리기 전에 먼저 당신에게 묻습니다. 안전하고 간단합니다.

요약 및 실용적인 팁

결론: Computer Use = AI가 화면의 “백그라운드 복사본”에서 작업하는 동안 당신은 계속 자신의 일을 하는 것입니다.

프로 팁: 첫 실제 작업 전에 hermes computer-use doctor를 실행하여 권한을 확인하세요. 클릭이 작동하지 않는다면, 90%는 화면 기록 또는 손쉬운 사용 접근 권한이 누락된 경우입니다—재설치하지 말고 진단만 확인하세요. 또한 빈 메모장 창에서 먼저 타이핑과 스크롤을 테스트해 보세요. 거기서 익숙해진 다음 실제 앱에 적용하세요.

---