第28篇:提供商路由——智能分发模型请求
Hermes 功能详解第28篇:Provider Routing。按规则自动选择模型提供商。
这篇教程将教你如何像“智能调度员”一样,为你的 AI 请求自动选择最合适的“幕后供应商”,在省钱、提速和保证质量之间自由切换。
你有没有想过,当你向 AI 提问时,背后是谁在真正为你“干活”?如果你用的是 OpenRouter 或 Nous Portal 这类“聚合平台”,它们会帮你把请求转交给 Anthropic、Google 等多家 AI 公司。提供商路由功能,就是让你决定“优先找谁干活、绝不找谁干活”的遥控器。
第1步:找到你的配置文件
所有设置都存放在 ~/.hermes/config.yaml 文件里。用记事本打开它,准备添加一个新章节。
第2步:认识你的“调度面板”
在文件末尾添加以下内容,这就是你的“调度面板”:
provider_routing:
sort: "price" # 排序方式:按价格、速度还是延迟
only: [] # 白名单:只用这些供应商
ignore: [] # 黑名单:绝不用这些供应商
order: [] # 优先级:按这个顺序挑选供应商
require_parameters: false # 是否要求供应商支持所有参数
data_collection: null # 是否允许供应商用你的数据训练(allow/deny)
别被这些英文吓到,下面我用生活化的比喻逐个解释。
第3步:按需调整“调度策略”
场景一:想省钱(适合大量测试和开发)
把 sort 设为 "price",系统就会自动选择报价最低的供应商。就像打车时选择“经济型”一样。
provider_routing:
sort: "price"
场景二:想聊天不卡顿(追求响应速度)
把 sort 设为 "latency",系统会优先选择“秒回”的供应商。适合对话式交互。
provider_routing:
sort: "latency"
场景三:想写长文更流畅(追求输出速度)
把 sort 设为 "throughput",系统会优先选择每秒输出字数最多的供应商。
provider_routing:
sort: "throughput"
第4步:指定“固定合作伙伴”或“拉黑名单”
只用特定供应商:如果你对某家(比如 Anthropic)情有独钟,希望所有请求都交给它,用 only:
provider_routing:
only:
- "anthropic"
拒绝某些供应商:如果你出于隐私考虑,不想让某些公司处理数据,用 ignore 把它们拉黑,同时还可以禁止数据收集:
provider_routing:
ignore:
- "together"
- "lepton"
data_collection: "deny"
第5步:设置“备胎顺序”(推荐)
你可以指定一个“优先名单”,名单上的供应商不可用时,系统才会自动找其他“备胎”:
provider_routing:
order:
- "anthropic"
- "google"
require_parameters: true # 确保供应商支持所有参数,避免“偷工减料”
重要提醒
- 此功能仅对 OpenRouter 和 Nous Portal 生效。如果你直接连接 Anthropic 等官方 API,这些设置会被忽略。
- 你可以组合使用多个选项,比如“按价格排序 + 拉黑某家 + 要求参数完整”:
provider_routing:
sort: "price"
ignore: ["together"]
require_parameters: true
data_collection: "deny"
- 如果完全不配置,系统会使用默认的“智能平衡”策略,自动兼顾成本和可用性,你无需操心。
总结:提供商路由就像给你的 AI 请求装了一个“智能导航”,让你在价格、速度和隐私之间自由权衡。核心操作就是修改 config.yaml 里的 provider_routing 字段,保存后重启 Hermes 即可生效。
下篇预告:如果主模型突然“罢工”了怎么办?下一篇我们将介绍 “备用模型(Fallback Providers)”,教你如何设置自动“接盘侠”,确保服务永不停摆。敬请期待!
📖 官方文档
本文根据 Hermes Agent 官方文档编写,原文见:官方文档 › user-guide/configuring-models