Sử dụng Máy tính — AI Điều khiển PC của Bạn

Hãy tưởng tượng bạn đang tập trung cao độ vào một bản báo cáo, và trợ lý AI của bạn đang lặng lẽ sắp xếp lại các thư mục, điền vào biểu mẫu và cuộn các trang web trên một “màn hình ảo” bên cạnh bạn—giống như một đồng nghiệp vô hình không bao giờ làm gián đoạn dòng suy nghĩ của bạn.

Đó chính xác là những gì Computer Use trong Hermes Agent làm được. Nó cho phép AI nhìn thấy nội dung màn hình của bạn và mô phỏng các thao tác nhấp chuột, gõ phím, cuộn và kéo thả—mà không di chuyển chuột thật, không chiếm quyền gõ phím, hay chuyển đổi màn hình ảo của bạn. Bạn và AI làm việc song song trên cùng một máy, hoàn toàn độc lập với nhau.

Những Mô Hình AI Nào Hoạt Động?

Gần như bất kỳ mô hình nào có khả năng gọi công cụ (tool calling)—Claude, GPT, Gemini, thậm chí cả các mô hình mã nguồn mở chạy cục bộ. Hermes không khóa bạn vào một định dạng độc quyền nào. Không cần học cú pháp đặc biệt nào của Anthropic. Chỉ cần cắm mô hình bạn yêu thích vào và sử dụng.

Cơ Chế Hoạt Động Ra Sao?

Hermes sử dụng một trình điều khiển mã nguồn mở tên là cua-driver. Nó đọc các thành phần trên màn hình (nút bấm, ô nhập liệu, menu) thông qua giao diện trợ năng (accessibility interfaces), sau đó gửi các hành động mô phỏng đến cửa sổ mục tiêu. Bên trong, mỗi hệ điều hành sử dụng lớp trợ năng gốc của nó:

macOS: AX (Accessibility) — gửi sự kiện mà không di chuyển con trỏ thật
Windows: UIAutomation — thao tác nhập liệu không chiếm quyền tập trung (focus)
Linux: AT‑SPI (X11 & Wayland) — không can thiệp vào cửa sổ đang chạy nền trước của bạn

Nguyên tắc cốt lõi: không bao giờ ép một cửa sổ lên nền trước. Tò mò tại sao điều này lại quan trọng? Hãy xem thỏa thuận không-ép-cửa-sổ-lên-nền-trước.

Kích Hoạt Tính Năng — Hai Cách

Cách 1: Dòng lệnh trực tiếp (dễ nhất)

hermes computer-use install

Sau đó kiểm tra:

hermes computer-use status

Cách 2: Thiết lập tương tác

hermes tools

Chọn 🖱️ Computer Use (macOS/Windows/Linux) từ danh sách—nó sẽ tự động chạy cùng trình cài đặt.

Phân Quyền Sau Khi Cài Đặt

Cấp cho terminal (hoặc ứng dụng Hermes) một vài quyền:

macOS: System Settings → Privacy & Security → bật Accessibility và Screen Recording. Không chắc chắn cần cái nào? Chạy hermes computer-use doctor—nó sẽ cho bạn biết chính xác những gì còn thiếu.
Windows: Sử dụng cục bộ không cần thêm gì. Đối với truy cập từ xa qua SSH, hãy làm theo hướng dẫn Windows‑SSH.
Linux: Đặt biến DISPLAY (X11) hoặc XDG_SESSION_TYPE=wayland (Wayland cần cầu nối XWayland). Đảm bảo AT‑SPI đang chạy (GNOME/KDE bật mặc định).

Bắt Đầu Sử Dụng

Sau khi cài đặt & phân quyền, hãy bắt đầu một phiên trò chuyện với bộ công cụ:

hermes -t computer_use chat

Hoặc thêm computer_use vào mục toolsets trong tệp ~/.hermes/config.yaml để tự động kích hoạt nó trong mọi phiên làm việc.

Chế Độ Phân Quyền & Đăng Nhập Trình Duyệt

Hermes ánh xạ hệ thống phê duyệt hiện có của nó lên chế độ daemon bất biến của cua‑driver—vì vậy không có thêm một công tắc phân quyền thứ hai nào để bạn phải nhớ. Luồng chấp thuận/từ chối mà bạn đã biết vẫn được áp dụng. Trước khi AI chạm vào màn hình của bạn, nó sẽ hỏi bạn trước. An toàn và đơn giản.

Tóm Tắt & Mẹo Thực Tế

Kết luận: Computer Use = AI làm việc trên một “bản sao nền” của màn hình trong khi bạn tiếp tục công việc của mình.

Mẹo chuyên nghiệp: Trước nhiệm vụ thực tế đầu tiên, hãy chạy hermes computer-use doctor để xác minh quyền. Nếu các cú nhấp chuột không hoạt động, 90% trường hợp là do thiếu quyền Screen Recording hoặc Accessibility—đừng cài đặt lại, chỉ cần kiểm tra chẩn đoán. Ngoài ra, hãy thử gõ phím và cuộn trong một cửa sổ notepad trống trước. Khi đã quen, hãy để nó tự do hoạt động trên các ứng dụng thực tế.