第31篇：电脑操控——AI 替你操作电脑

這篇講的是：讓 Hermes Agent 在背景悄悄替你完成點擊、打字、滾動等操作，而你完全不用動滑鼠鍵盤——就像有個隱形助手在幫你幹活。

它和普通自動化有啥不一樣？

你肯定見過那種「錄屏式」的電腦操控工具——它們會搶走你的滑鼠，讓你啥也幹不了。Hermes 完全不同：它在背景操作，你的游標紋絲不動，鍵盤焦點不切換，虛擬桌面也不跳轉。你可以一邊寫文件，一邊看它幫你處理郵件，互不干擾。

而且它不挑模型——Claude、GPT、Gemini，甚至本地跑的開源模型都行，沒有廠商綁定。

第1步：安裝驅動

打開終端機，執行一條指令：

hermes computer-use install

裝完用 hermes computer-use status 檢查一下是否成功。也可以走互動式路徑：執行 hermes tools，選 🖱️ Computer Use 選項，效果一樣。

第2步：授權系統權限

• macOS：去「系統設定 → 隱私權與安全性 → 輔助功能 + 螢幕錄製」，把你的終端機應用程式勾選上。不確定缺哪個？執行 hermes computer-use doctor 它會直接告訴你。
• Windows：安裝時無需額外權限。如果透過 SSH 遠端操控，需要看下官方文件的自動啟動設定。
• Linux：確保 DISPLAY（X11）或 XDG_SESSION_TYPE=wayland 環境變數已設定，AT-SPI 服務預設開啟就行。

第3步：啟動對話

hermes -t computer_use chat

或者把 computer_use 加進 ~/.hermes/config.yaml 的啟用工具清單裡。

權限模式：安全與自由的平衡

Hermes 把權限控制映射成了兩種模式：

對話模式	對應驅動模式	說明
預設（手動/智慧審批）	standard	每次操作前問你，安全第一
/yolo 或 approvals.mode: off	unrestricted	一次確認後全自動，僅限一次性虛擬機器或可犧牲的資料

⚠️ YOLO 模式不防提示注入，別在重要環境裡開。

出問題了？先跑「體檢」

hermes computer-use doctor

它會逐項檢查驅動版本、系統權限、輔助功能樹是否可達等，並給出具體修復提示。退出碼 0 表示一切正常，1 表示有問題，2 表示驅動沒裝好。

那個「幽靈游標」是啥？

AI 操作時螢幕上會出現一個淡色半透明的箭頭游標，滑到它點擊的位置——這只是視覺提示，不會動你的真實游標。每次執行都有獨立對話 ID，多個任務並行時各有各的游標，互不干擾。

想深入？裝個「技能包」

cua-driver skills install

這會裝一套平台深度文件（macOS/Windows/Linux 各自的底層機制、錄製回放、瀏覽器互動技巧），當 AI 在某個平台「翻車」時，它會自動查閱對應文件來調整策略。

---

總結一下：裝驅動 → 授權限 → 開聊，三步就能讓 AI 在背景幫你操作電腦。它不搶你的滑鼠，權限可控，出問題有「醫生」幫你診斷。

下篇預告：AI 能操作電腦了，那它能自己「看」螢幕內容嗎？下一篇我們聊聊視覺能力——AI 的眼睛。