第29篇：备用提供商——AI 不宕机

第29篇：備用提供商——AI 不當機

上一篇我們聊了模型怎麼配，今天來聊聊更刺激的話題：萬一你的 AI 提供商掛了怎麼辦？

想像一下：你正在跟 Hermes 聊得火熱，突然 OpenAI 伺服器抽風，所有請求逾時。這時候如果 Hermes 只會乾瞪眼，那可就太尷尬了。好消息是，Hermes 早就想到了這一點——備用提供商（Fallback Providers） 就是幹這個的。

什麼是備用提供商？

簡單說，就是給 Hermes 準備一個「備胎」。當主模型（比如 GPT-4）不可用時，Hermes 會自動切換到備用模型（比如 Claude 或者本地模型），保證對話不中斷。

在 ~/.hermes/config.yaml 裡，你可以這樣設定：

model:
  provider: openai
  default: gpt-4o
  fallback_providers:
    - provider: anthropic
      default: claude-sonnet-4
    - provider: ollama
      default: llama3.1

這樣設定後，如果 OpenAI 掛了，Hermes 會先嘗試 Anthropic，再不行的話就切到本地 Ollama。層層遞進，總有一個能幹活。

自動切換的時機

Hermes 會在這些情況下觸發切換：

• 連線逾時：請求發出去半天沒回應
• 限流（429）：你被提供商限流了
• 5xx 錯誤：提供商伺服器內部錯誤
• 上下文超長：當前模型視窗裝不下你的對話

切換時的注意事項

切換模型有個小坑：提示詞快取會失效。因為快取是按模型區分的，切換後下一條訊息得重新讀取整個對話，按全價計費。所以如果你在長對話中途切換，這一次重讀的費用可能比兩個模型的價格差還大。

建議：盡量在對話開始時就選好模型，或者剛開新會話時再切換。

非互動場景的特別處理

如果你用 Kanban 定時任務或者 cron 自動跑 Hermes，遇到模型掛了怎麼辦？預設情況下，這些無人值守的任務會直接失敗——因為 Hermes 沒法彈窗問你「要不要用備用模型」。

如果你確實想讓它自動切換，可以這樣設定：

hermes config set security.allow_fallback_noninteractive true

這樣無人值守任務也會自動啟用備用提供商。想撤銷就：

hermes config unset security.allow_fallback_noninteractive

查看當前設定

想知道現在配了哪些備用提供商？執行：

hermes config get model

會顯示完整的模型設定，包括主模型和所有備用鏈。

小結

備用提供商就像是給 AI 上了個保險。雖然我們希望永遠用不上，但真到關鍵時刻，它能救你於水火之中。設定好之後，你就可以放心大膽地跟 Hermes 聊天了——就算天塌下來，也有備胎頂著。