Запуск Hermes с Ollama Бесплатно

Представьте Hermes Agent как умного помощника, а Ollama — как его бесплатный локальный мозг. Вместе они образуют мощный дуэт, не тратя ни копейки на облачный ИИ.

Что вам понадобится

Hermes Agent (фреймворк-ассистент)
Ollama (запускает ИИ-модели на вашем компьютере)
Docker (необязательно, но упрощает настройку)

Шаг 1: Установка Ollama

Сначала скачайте и установите Ollama с ollama.com. Затем загрузите модель:

ollama pull llama3.2

Это загрузит небольшую и быструю модель, которая отлично работает с Hermes.

Шаг 2: Запуск Ollama

Запустите Ollama как сервер, чтобы Hermes мог с ним общаться:

ollama serve

По умолчанию Ollama слушает порт 11434. Держите это окно терминала открытым.

Шаг 3: Подключение Hermes к Ollama

Если вы запускаете Hermes на своем компьютере (не в Docker), создайте файл конфигурации в ~/.hermes/config.yaml:

model:
  provider: custom
  model: llama3.2
  base_url: http://127.0.0.1:11434/v1
  api_key: "none"

Важно: Имя model должно точно совпадать с тем, что вы загрузили ранее.

Шаг 4: Запуск Hermes

Теперь запустите Hermes:

docker run -d \
  --name hermes \
  --network host \
  -v ~/.hermes:/opt/data \
  nousresearch/hermes-agent gateway run

Примечание: Использование --network host на Linux позволяет Hermes видеть Ollama по адресу 127.0.0.1. На Mac/Windows используйте host.docker.internal:11434 вместо этого.

Шаг 5: Проверка

Убедитесь, что Hermes может связаться с Ollama:

docker exec hermes curl -s http://127.0.0.1:11434/v1/models

Вы должны увидеть список с llama3.2. Если нет — проверьте, что Ollama все еще запущен.

Советы по устранению неполадок

Не удается подключиться? Убедитесь, что Ollama слушает на 0.0.0.0, а не только на 127.0.0.1. При необходимости запустите OLLAMA_HOST=0.0.0.0 ollama serve.
Модель не найдена? Имя в вашем конфиге должно точно совпадать с загруженной моделью.
Конфликт портов? Измените порт Ollama с помощью OLLAMA_PORT=11435 и обновите конфигурацию.

Почему это круто

Бесплатно навсегда — никаких счетов за API
Приватно — ваши данные остаются на вашем компьютере
Работает офлайн — не требует интернета

Финальный совет

Начните с небольшой модели, например llama3.2 (3B), чтобы проверить, что все работает. Когда освоитесь, попробуйте модели побольше, например qwen2.5:7b, для более качественных ответов — просто не забудьте обновить имя model в конфиге.

Теперь у вас есть полностью локальный, бесплатный ИИ-ассистент на базе Hermes и Ollama. Удачной разработки!