实战：Mac 上跑本地大模型

實戰：Mac 上跑本地大模型

兄弟們，今天咱們來聊聊在 Mac 上跑本地大模型這事儿。別被「本地大模型」這幾個字嚇到，其實 Hermes 已經把這事儿簡化到「點點點」就完事了。咱們直接進入正題。

先搞清楚：Hermes 用兩種模型槽位

Hermes 不是啥活兒都讓一個模型幹，它把任務分成了兩類：

• 主模型（Main model）：負責「思考」的那個。你發的每句話、工具呼叫的每個迴圈、串流輸出的每個字，都走它。
• 輔助模型（Auxiliary models）：幹雜活兒的。比如上下文壓縮、圖片分析、網頁摘要、審批打分、MCP 工具路由、會話標題生成、技能搜尋……一共 11 個槽位，每個都能單獨覆蓋。

預設情況下，輔助模型都是 auto，意思是「主模型能幹的活兒我也幹」。但如果你想省錢或者加速，可以給某個雜活兒單獨指定一個便宜的小模型。

最省事的路子：Nous Portal

如果你不想折騰 API key，直接跑 hermes setup --portal，一條命令搞定登入和設定提供商。想看配了啥，用 hermes portal info。而且 Portal 訂閱使用者還能享受其他按量計費提供商 10% 的折扣，真香。

打開 Models 頁面

在儀表板側邊欄點 Models，你會看到兩個區域：

1. Model Settings（模型設定）——頂部面板，給槽位分配模型。
2. Usage analytics（用量分析）——按排名展示跑過的模型，帶 token 數、費用和能力標籤。

主模型那一行顯示的是新會話會用啥模型，點 Change 就能換。

設定主模型

點 Change 後彈出選擇器，分兩列：

• 左邊：已認證的提供商。沒看到你想要的？去 Keys 頁面加憑證。
• 右邊：該提供商的精選模型列表。注意，這是 Hermes 推薦的 agentic 模型，不是原始 /models 介面回傳的 400 多個（那裡面還有 TTS、畫圖模型呢）。

選好點 Switch，Hermes 會把它寫進 ~/.hermes/config.yaml。注意：這只對新會話生效。已經打開的聊天標籤頁還是用原來的模型。想熱切換？在會話裡用 /model 斜線命令。

中途換模型的坑

在活躍會話裡換模型（TUI 選擇器、CLI、Telegram/Discord 的 /model），Hermes 會估算你的下一條訊息是否觸發預壓縮。如果會話已經接近新模型的壓縮閾值，會給你一個警告。但切換立即生效，壓縮會在切換後的第一條使用者訊息時執行。

還有個更坑的：中途換模型會重置提示快取！ 快取是按模型服務的，所以一換模型，下一條訊息就得按全價重新讀一遍整個對話（本來能省 75–90% 的）。長會話裡這一下可能比兩個模型之間的 token 差價還貴。所以，要換趁早，要嘛就開新會話。

無人值守的資料訓練層級

像 muse-spark-1.2-contributor 這種模型，因為廠商可能拿你的資料訓練，所以價格便宜。互動式選擇時會有確認提示，但無人值守路徑（比如 Kanban workers、cron agents）沒法問，所以預設拒絕。如果接受，可以記錄一個持久確認：

hermes config set security.allow_data_training_tiers_noninteractive true

想撤銷就：

hermes config unset security.allow_data_training_tiers_noninteractive

設定輔助模型

點 Show auxiliary 展開 11 個任務槽位。每個預設 auto，也就是跟著主模型走。如果主模型不可用或失敗，會按 auxiliary.<task>.fallback_chain → 主 fallback_providers / fallback_model → 內建發現鏈的順序兜底。想給某個雜活兒指定便宜模型？直接覆蓋對應槽位就行。

一個小提醒

新裝的 Hermes 預設設定裡 model: ""（空字串，意思是「還沒配」）。第一次跑 hermes setup 或 hermes model 時，它會自動升級成帶 provider、default、base_url、api_mode 的對映結構。如果你在 config.yaml 裡看到空字串，跑一下 hermes model 或者在儀表板點 Change，它就會幫你寫對。

好了，去跑你的本地大模型吧！有問題評論區見。