第31篇：电脑操控——AI 替你操作电脑

这篇讲的是：让 Hermes Agent 在后台悄悄替你完成点击、打字、滚动等操作，而你完全不用动鼠标键盘——就像有个隐形助手在帮你干活。

它和普通自动化有啥不一样？

你肯定见过那种“录屏式”的电脑操控工具——它们会抢走你的鼠标，让你啥也干不了。Hermes 完全不同：它在后台操作，你的光标纹丝不动，键盘焦点不切换，虚拟桌面也不跳转。你可以一边写文档，一边看它帮你处理邮件，互不干扰。

而且它不挑模型——Claude、GPT、Gemini，甚至本地跑的开源模型都行，没有厂商绑定。

第1步：安装驱动

打开终端，运行一条命令：

hermes computer-use install

装完用 hermes computer-use status 检查一下是否成功。也可以走交互式路径：运行 hermes tools，选 🖱️ Computer Use 选项，效果一样。

新装 Hermes 时驱动其实已经预装好了（安装脚本会尽力帮你装上 cua-driver，想跳过就加 --skip-computer-use / -SkipComputerUse）。所以对全新安装来说，这一步通常只是“配置开关”而已。如果你之前自己装过 cua-driver，只要它支持 0.20 运行时契约，Hermes 会直接复用；版本太旧或不完整的话，Hermes 会帮你修一次（每个会话最多一次）。用 HERMES_CUA_DRIVER_CMD 指定的二进制则完全归你管，Hermes 只会报告不兼容、不会动它。

第2步：授权系统权限

macOS：去「系统设置 → 隐私与安全性 → 辅助功能 + 屏幕录制」，把 hermes computer-use doctor 报出来的那个身份勾选上。标准模式授权给 CuaDriver.app，bounded / unrestricted 模式授权给 Hermes 宿主身份。
Windows：安装时无需额外权限。如果通过 SSH 远程操控，需要看下官方文档的自动启动配置。
Linux：确保 DISPLAY（X11）或 XDG_SESSION_TYPE=wayland 环境变量已设置，AT-SPI 服务默认开启就行。Wayland 会话需要 XWayland 桥接才能截图；另外原生 Wayland 支持是显式开启的，需要在 config.yaml 里设置 computer_use.native_wayland: true，改完记得重启正在运行的 gateway。

第3步：启动会话

hermes -t computer_use chat

或者把 computer_use 加进 ~/.hermes/config.yaml 的启用工具列表里。

权限模式：安全与自由的平衡

Hermes 把权限控制映射成了几种模式：

会话模式	对应驱动模式	说明
默认（手动/智能审批）	`standard`	每次操作前问你，安全第一
`computer_use.permission_mode: bounded` + 审核过的 manifest	私有 `bounded` 守护进程	启动时审核一次能力清单，之后清单外的操作一律失败
`/yolo` 或 `approvals.mode: off`	`unrestricted`	一次确认后全自动，仅限一次性虚拟机或可牺牲的数据

⚠️ YOLO 模式不防提示注入，别在重要环境里开。

关于审批：点击、打字、拖拽、滚动、按键、切换应用这些“破坏性操作”，走的是和危险 shell 命令同一套审批闸门——要么在 CLI 弹窗里确认，要么用消息平台的审批按钮。授权按 cua:<action>:<background|foreground> 记录，存在共享的会话 / command_allowlist 里（后台授权不会覆盖前台可见版本）。没人能应答的场景——比如 cron（approvals.cron_mode）、单次查询、无人值守平台或任何 headless 运行——操作会被直接拒绝，而不是自动放行；--yolo / /yolo 依然可以绕过。

关于浏览器：涉及登录态浏览器配置的网页操作，走的是 browser 工具集（browser_exec），不是 computer_use。旧的 computer_use.grant_existing_profile 开关已经移除，配置里残留的键会被忽略。

出问题了？先跑“体检”

hermes computer-use doctor

它会逐项检查驱动版本、系统权限、辅助功能树是否可达等，并给出具体修复提示。退出码 0 表示一切正常，1 表示有问题，2 表示驱动没装好。

小提示：Windows 上如果 doctor 报 “Access is denied” 但工具其实能用，多半是 cua-driver 装在了 C:\Program Files\WindowsApps 下，Hermes 的 venv 解释器执行不了它。现在 doctor 会直接给出这个诊断而不是抛一堆堆栈。修法很简单：用上游安装器重装一次（会装到你的用户目录），或者把 HERMES_CUA_DRIVER_CMD 指向 WindowsApps 之外的一份拷贝。

那个“幽灵光标”是啥？

AI 操作时屏幕上会出现一个淡色半透明的箭头光标，滑到它点击的位置——这只是视觉提示，不会动你的真实光标。每次运行都有独立会话 ID，多个任务并行时各有各的光标，互不干扰。

这个覆盖光标在部分平台会自动关闭（比如 macOS 会空耗 CPU，headless Linux / WSL2 / 容器，以及 Linux X11 桌面——它的全屏置顶窗口在异常退出后可能卡住整个桌面）。Linux Wayland 和 Windows 会保留。想强制开关，可以在 config.yaml 里设置 computer_use.no_overlay。

想深入？装个“技能包”

cua-driver skills install

这会装一套平台深度文档（macOS/Windows/Linux 各自的底层机制、录制回放、浏览器交互技巧），当 AI 在某个平台“翻车”时，它会自动查阅对应文档来调整策略。命令会把技能包链接到 ~/.hermes/skills/cua-driver，cua-driver skills status 能看到它被链进了哪些 agent。放心，你平时还是照常调 computer_use(action=...)，驱动底层的 MCP 词汇由 wrapper 帮你翻译。

总结一下：装驱动 → 授权限 → 开聊，三步就能让 AI 在后台帮你操作电脑。它不抢你的鼠标，权限可控，出问题有“医生”帮你诊断。

下篇预告：AI 能操作电脑了，那它能自己“看”屏幕内容吗？下一篇我们聊聊视觉能力——AI 的眼睛。