Provider Routing — умная маршрутизация моделей

Если вам когда-нибудь казалось, что ваш ИИ-агент использует кувалду, чтобы расколоть орех, — вы не одиноки. Большинство агентов прогоняют всё через одну большую и мощную модель — даже мелкие побочные задачи, которым не нужно столько «мозгов». Hermes меняет это с помощью умной двухуровневой системы: основная модель для мышления и вспомогательные модели для мелочей.

Представьте себе кухню ресторана. У вас есть шеф-повар (основная модель), который обрабатывает каждый заказ, и специализированные станции — кондитер, гриль-повар, помощник — каждый занимается своей задачей. Именно так работает Hermes.

Два типа слотов для моделей

Hermes использует два типа слотов:

Основная модель — мозг. Каждое сообщение пользователя, каждый цикл вызова инструментов, каждый потоковый ответ проходят через эту модель.
Вспомогательные модели — помощники. Они занимаются сжатием контекста, зрением (анализом изображений), суммаризацией веб-страниц, оценкой одобрений, маршрутизацией MCP-инструментов, генерацией заголовков сессий и поиском навыков. У каждой — свой слот, и каждую можно переопределить независимо.

Самое приятное? Всё это настраивается прямо из дашборда.

Страница Models

Откройте дашборд и нажмите Models на боковой панели. Вы увидите две секции:

Model Settings — верхняя панель, где вы назначаете модели по слотам.
Usage analytics — ранжированные карточки, показывающие каждую модель, которая запускала сессию, с количеством токенов, стоимостью и бейджами возможностей.

Верхняя карточка — это панель Model Settings. В основной строке всегда показано, какую модель агент запустит для новых сессий. Нажмите Change, чтобы открыть выбор.

Настройка основной модели

В окне выбора две колонки:

Слева — аутентифицированные провайдеры. Здесь отображаются только те, которые вы настроили (задали API-ключ, прошли OAuth или определили как кастомную конечную точку). Если провайдера нет — зайдите в Keys и добавьте учётные данные.
Справа — курируемый список моделей для выбранного провайдера. Это агентные модели, которые рекомендует Hermes, а не сырой список /models (на OpenRouter там 400+ моделей, включая TTS, генераторы изображений и реранкеры).

Введите текст в поле фильтра, чтобы сузить поиск по имени провайдера, слагу или ID модели.

Выберите модель, нажмите Switch — и Hermes запишет её в ~/.hermes/config.yaml в секцию model. Это применяется только к новым сессиям — уже открытые вкладки чата продолжат работать на той модели, с которой были запущены. Чтобы горячо переключить текущий чат, используйте слэш-команду /model внутри него.

Переключение в середине сессии и предупреждения о контексте

Когда вы переключаете модель внутри активной сессии, Hermes оценивает, потребует ли ваше следующее сообщение предварительного сжатия контекста под окно новой модели. Если сессия уже близка к порогу сжатия новой модели или превышает его, ответ при переключении будет содержать предупреждение. Переключение всё равно применяется немедленно; сжатие выполняется при первом сообщении пользователя после переключения.

Важно: Переключение в середине сессии сбрасывает кэш промптов. Кэш промптов привязан к модели, обслуживающей запрос, поэтому любая смена модели в середине разговора означает, что следующее сообщение перечитает весь диалог по полной цене входных токенов вместо кэшированной (со скидкой ~75–90%). В длинной сессии это одноразовое перечитывание может перевесить разницу в цене за токен между двумя моделями. Переключайтесь, когда нужно, но лучше делайте это в начале разговора.

Автоматические уровни с обучением на данных

Некоторые модели дешевле, потому что вендор может обучаться на ваших промптах и ответах. Интерактивный выбор модели всегда показывает окно подтверждения. Но неинтерактивные пути запуска — например, Kanban-воркеры и cron-агенты — завершаются с ошибкой, потому что не могут задать этот вопрос.

Если обучение на данных фоновой нагрузки допустимо, запишите постоянное подтверждение:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes по-прежнему выводит полное предупреждение о политике данных и ключ подтверждения при каждом фоновом запуске, так что в логах воркеров сохраняется аудиторский след. Отменить можно командой hermes config unset security.allow_data_training_tiers_noninteractive.

Настройка вспомогательных моделей

Нажмите Show auxiliary, чтобы увидеть 11 слотов задач. Каждая вспомогательная задача по умолчанию имеет значение auto — то есть Hermes пробует использовать для неё вашу основную модель. Если этот маршрут недоступен или происходит сбой типа перегрузки, auto следует за цепочкой фолбэков конкретной задачи, затем за основной цепочкой фолбэков, а затем за встроенной цепочкой обнаружения вспомогательных моделей Hermes.

Переопределите конкретную задачу, если хотите более дешёвую или быструю модель для побочной работы. Например, можно поставить крошечную модель для генерации заголовков сессий, но оставить большую модель для задач зрения.

Самый быстрый путь: Nous Portal

Nous Portal предоставляет 300+ моделей по одной подписке. При чистой установке выполните hermes setup --portal, чтобы войти и установить Nous как провайдера одной командой. Посмотреть, что подключено, можно через hermes portal info. Подписчики Portal также получают скидку 10% на провайдеров с оплатой за токены.

Примечание о схеме `model:`

При совершенно новой установке встроенный конфиг по умолчанию содержит model: "" (пустая строка — маркер «ещё не настроено»). При первом запуске hermes setup или hermes model этот ключ обновляется на месте до маппинга с под-ключами provider, default, base_url и api_mode. Если вы когда-нибудь увидите пустую строку в config.yaml, запустите hermes model (или нажмите Change в дашборде) — и Hermes запишет словарную форму за вас.

Умная маршрутизация моделей означает, что вы не платите флагманские цены за рутину. Ваша основная модель берёт на себя тяжёлое мышление, а модели поменьше и подешевле справляются с обычными задачами. Это эффективно, экономично и даёт вам тонкий контроль над каждой частью рабочего процесса вашего агента.