第31篇：电脑操控——AI 替你操作电脑

这篇讲的是：让 Hermes Agent 在后台悄悄替你完成点击、打字、滚动等操作，而你完全不用动鼠标键盘——就像有个隐形助手在帮你干活。

它和普通自动化有啥不一样？

你肯定见过那种“录屏式”的电脑操控工具——它们会抢走你的鼠标，让你啥也干不了。Hermes 完全不同：它在后台操作，你的光标纹丝不动，键盘焦点不切换，虚拟桌面也不跳转。你可以一边写文档，一边看它帮你处理邮件，互不干扰。

而且它不挑模型——Claude、GPT、Gemini，甚至本地跑的开源模型都行，没有厂商绑定。

第1步：安装驱动

打开终端，运行一条命令：

hermes computer-use install

装完用 hermes computer-use status 检查一下是否成功。也可以走交互式路径：运行 hermes tools，选 🖱️ Computer Use 选项，效果一样。

第2步：授权系统权限

• macOS：去「系统设置 → 隐私与安全性 → 辅助功能 + 屏幕录制」，把你的终端应用勾选上。不确定缺哪个？运行 hermes computer-use doctor 它会直接告诉你。
• Windows：安装时无需额外权限。如果通过 SSH 远程操控，需要看下官方文档的自动启动配置。
• Linux：确保 DISPLAY（X11）或 XDG_SESSION_TYPE=wayland 环境变量已设置，AT-SPI 服务默认开启就行。

第3步：启动会话

hermes -t computer_use chat

或者把 computer_use 加进 ~/.hermes/config.yaml 的启用工具列表里。

权限模式：安全与自由的平衡

Hermes 把权限控制映射成了两种模式：

会话模式	对应驱动模式	说明
默认（手动/智能审批）	standard	每次操作前问你，安全第一
/yolo 或 approvals.mode: off	unrestricted	一次确认后全自动，仅限一次性虚拟机或可牺牲的数据

⚠️ YOLO 模式不防提示注入，别在重要环境里开。

出问题了？先跑“体检”

hermes computer-use doctor

它会逐项检查驱动版本、系统权限、辅助功能树是否可达等，并给出具体修复提示。退出码 0 表示一切正常，1 表示有问题，2 表示驱动没装好。

那个“幽灵光标”是啥？

AI 操作时屏幕上会出现一个淡色半透明的箭头光标，滑到它点击的位置——这只是视觉提示，不会动你的真实光标。每次运行都有独立会话 ID，多个任务并行时各有各的光标，互不干扰。

想深入？装个“技能包”

cua-driver skills install

这会装一套平台深度文档（macOS/Windows/Linux 各自的底层机制、录制回放、浏览器交互技巧），当 AI 在某个平台“翻车”时，它会自动查阅对应文档来调整策略。

---

总结一下：装驱动 → 授权限 → 开聊，三步就能让 AI 在后台帮你操作电脑。它不抢你的鼠标，权限可控，出问题有“医生”帮你诊断。

下篇预告：AI 能操作电脑了，那它能自己“看”屏幕内容吗？下一篇我们聊聊视觉能力——AI 的眼睛。