Запуск локальных LLM на Mac

Итак, у вас уже запущен Hermes Agent на Mac, и вы готовы погрузиться в мир локальных LLM. Отличный выбор! Но прежде чем начать болтать, нужно понять, как Hermes работает с моделями. Представьте, что вы обустраиваете кухню: есть главный шеф-повар, а есть команда узкоспециализированных помощников для конкретных задач.

Два типа слотов для моделей

Hermes использует два вида слотов:

Основная модель — это ваш главный шеф-повар. Каждое сообщение пользователя, каждый цикл вызова инструментов, каждый потоковый ответ проходит через эту модель. Это мозг всей операции.
Вспомогательные модели — это ваши су-шефы. Они занимаются небольшими побочными задачами: сжатие контекста, зрение (анализ изображений), суммаризация веб-страниц, оценка одобрений, маршрутизация MCP-инструментов, генерация заголовков сессий и поиск навыков. У каждой свой слот, и каждую можно переопределить независимо.

Начало работы: самый быстрый путь

Если вы новичок в Hermes, самый быстрый способ настроить модели — через Nous Portal. Он даёт доступ к 300+ моделям по одной подписке. При чистой установке просто запустите:

hermes setup --portal

Эта команда выполнит вход и установит Nous в качестве провайдера одним махом. Проверить, что подключено, можно через hermes portal info. Кстати, подписчики портала получают скидку 10% на провайдеров с оплатой за токены. Неплохо, правда?

Страница Models

Откройте дашборд и нажмите Models на боковой панели. Вы увидите две секции:

Model Settings — верхняя панель, где вы назначаете модели по слотам.
Usage analytics — ранжированные карточки, показывающие каждую модель, которая запускала сессию, с количеством токенов, стоимостью и бейджами возможностей.

Верхняя карточка — это панель Model Settings. В главной строке показано, какую модель агент запустит для новых сессий. Нажмите Change, чтобы открыть выбор.

Настройка основной модели

В окне выбора две колонки:

Слева — аутентифицированные провайдеры. Здесь появляются только те, которых вы настроили (задали API-ключ, прошли OAuth или определили как кастомную конечную точку). Если провайдера нет, зайдите в Keys и добавьте учётные данные.
Справа — курируемый список моделей для выбранного провайдера. Это агентные модели, которые рекомендует Hermes, а не сырой список /models (на OpenRouter там 400+ моделей, включая TTS, генераторы изображений и реранкеры).

Введите запрос в поле фильтра, чтобы сузить поиск по имени провайдера, слагу или ID модели. Выберите модель, нажмите Switch, и Hermes запишет её в ~/.hermes/config.yaml. Это применяется только к новым сессиям — уже открытые вкладки чата продолжат работать с той моделью, с которой начались. Чтобы горячо переключить текущий чат, используйте слэш-команду /model прямо внутри него.

Переключение в середине сессии: слово предостережения

Когда вы переключаете модель внутри активной сессии, Hermes оценивает, потребует ли ваше следующее сообщение выполнения предварительного сжатия контекста под окно новой модели. Если сессия уже близка к порогу сжатия этой модели или превышает его, вы получите предупреждение. Переключение всё равно применится немедленно, но сжатие выполнится при первом сообщении пользователя после переключения.

Важно: Переключение модели в середине сессии сбрасывает кэш подсказок. Кэши подсказок привязаны к модели, обслуживающей запрос, поэтому любая смена модели в середине разговора означает, что следующее сообщение перечитает всю беседу по полной цене входных токенов, а не по кэшированной ставке (со скидкой ~75–90%). В длинной сессии это одноразовое перечитывание может перевесить разницу в цене за токен между двумя моделями. Переключайтесь, когда нужно, но лучше делайте это в начале разговора.

Уровни обучения на данных без присмотра

Некоторые модели, например muse-spark-1.2-contributor, стоят дешевле, потому что поставщик может обучаться на ваших подсказках и ответах. Интерактивный выбор модели всегда показывает подтверждающее окно. Но неинтерактивные пути запуска (например, Kanban-воркеры и cron-агенты) завершаются с ошибкой, потому что не могут задать этот вопрос.

Если обучение на данных фоновой нагрузки допустимо, запишите постоянное подтверждение:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes по-прежнему печатает полное предупреждение о политике данных при каждом фоновом запуске, так что в логах воркеров сохраняется аудиторский след. Отменить можно так:

hermes config unset security.allow_data_training_tiers_noninteractive

Настройка вспомогательных моделей

Нажмите Show auxiliary, чтобы открыть 11 слотов задач. Каждая вспомогательная задача по умолчанию имеет значение auto — это значит, что Hermes попробует использовать для неё вашу основную модель. Если этот путь недоступен, auto следует по цепочке запасных вариантов для конкретной задачи, затем по основной цепочке запасных вариантов, а затем по встроенной цепочке обнаружения вспомогательных моделей Hermes. Переопределите конкретную задачу, когда хотите использовать более дешёвую или быструю модель для побочной работы.

Примечание о схеме `model:`

При совершенно новой установке в комплектной конфигурации по умолчанию стоит model: "" (пустая строка-маркер, означающая «ещё не настроено»). При первом запуске hermes setup или hermes model этот ключ на месте обновляется до отображения с подключами provider, default, base_url и api_mode. Если вы когда-нибудь увидите пустую строку в config.yaml, запустите hermes model (или нажмите Change в дашборде), и Hermes сам запишет словарную форму.

Вот и всё! Теперь вы готовы настраивать модели как профессионал. Приятного общения!