实战：Mac 上跑本地大模型

好嘞，今天咱们来聊聊怎么在 Mac 上把本地大模型跑起来。别被“本地大模型”这几个字吓到，其实用 Hermes 操作起来，跟点外卖差不多简单。

先搞懂两个“模型位”

Hermes 里有两个模型槽位，搞清楚它们，后面就顺了：

• 主模型（Main model）：负责“思考”的那个。你发的每句话、工具调用的每个循环、流式输出的每个字，都得过它。相当于 Agent 的大脑。
• 辅助模型（Auxiliary models）：干杂活的小弟。比如上下文压缩、图片分析、网页摘要、审批打分、MCP 工具路由、会话标题生成、技能搜索……一共 11 个任务槽位，每个都能单独指定模型。

默认情况下，辅助任务都是 auto，意思就是“主模型能干的活，我也顺手干了”。但如果你想省钱或者加速，完全可以给某个杂活单独指定一个便宜的小模型。

打开 Models 面板

在 Dashboard 左侧边栏点 Models，你会看到两个区域：

1. Model Settings（顶部面板）：给各个槽位分配模型。
2. Usage analytics（下方卡片）：显示这段时间跑过哪些模型、花了多少 token、多少钱。

主模型那一行，点 Change 就能换。

设置主模型

点开 Change 后，弹窗分两列：

• 左边：你已经配置好凭证的提供商（API key、OAuth 或者自定义端点）。要是某个提供商没出现，去 Keys 页面把凭证加上。
• 右边：该提供商下 Hermes 精选的模型列表。注意，这不是原始 /models 接口的全量列表（OpenRouter 上那玩意儿有 400 多个，包括 TTS、画图、reranker 之类的），而是 Hermes 推荐的“Agent 友好型”模型。

选好模型，点 Switch，Hermes 就会把它写进 ~/.hermes/config.yaml。注意：这只对新会话生效——已经打开的聊天标签页，还是会用原来的模型跑完。想热切换当前对话，用 /model 斜杠命令。

会话中途切换的坑

如果你在会话进行中切换模型（比如在 Herm TUI 里、CLI 里，或者 Telegram/Discord 上用 /model），Hermes 会估算你的下一条消息是否需要对新模型做预检上下文压缩。如果会话已经接近或超过新模型的压缩阈值，切换回复里会带警告。

还有个更重要的坑：中途切换会重置提示缓存。 提示缓存是按模型分键的，所以任何中途换模型（手动切换、自动 fallback、凭证池轮换到不同账号），都意味着下一条消息要按全价输入 token 重新读一遍整个对话，而不是享受缓存折扣（约 75-90% 优惠）。长会话里，这一下重读的费用可能比两个模型之间的单价差异还大。所以：该换就换，但尽量在对话早期换，或者干脆开个新会话再换。

辅助模型设置

点 Show auxiliary，展开 11 个任务槽位。每个默认都是 auto，也就是尝试用主模型跑。如果主模型这条路走不通（比如容量问题），auto 会依次尝试：

1. 任务专属的 auxiliary.<task>.fallback_chain
2. 主 fallback_providers / fallback_model 链
3. Hermes 内置的辅助模型发现链

想给某个杂活指定更便宜或更快的模型，直接覆盖对应槽位就行。

关于数据训练的小提醒

有些模型（比如 muse-spark-1.2-contributor）因为厂商可能会拿你的对话数据训练，所以价格便宜。交互式选择模型时，Hermes 会弹确认框。但非交互式启动路径（比如 Kanban worker、cron agent）没法弹框问，所以默认是“拒绝”的。

如果你能接受无人值守任务的数据被拿去训练，可以记录一个持久确认：

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes 每次无人值守启动时，仍然会打印完整的数据政策警告和确认键，方便审计。想撤销就：

hermes config unset security.allow_data_training_tiers_noninteractive

最快路径：Nous Portal

如果你不想一个个配 API key，Nous Portal 是个好选择——一个订阅，300+ 模型随便用。全新安装后，跑一句：

hermes setup --portal

登录 + 设置提供商，一条命令搞定。想看看配了什么，用 hermes portal info。Portal 订阅者还能在按 token 计费的提供商上享受 9 折。

小提醒：model: 的空字符串 vs 映射

新装的默认配置里，model: "" 是个“还没配置”的哨兵值。第一次跑 hermes setup 或 hermes model 时，这个键会被升级成映射格式（包含 provider、default、base_url、api_mode）。如果你在 config.yaml 里看到空字符串，跑一下 hermes model（或者在 Dashboard 里点 Change），Hermes 就会帮你写成正确的字典格式。

---

好了，现在你应该知道怎么在 Mac 上把本地大模型跑起来了。核心就三步：配好主模型 → 按需调辅助模型 → 注意中途切换的缓存坑。有问题欢迎在评论区聊，咱们下期见！