Führen Sie Hermes kostenlos mit Ollama aus | Easy Understand Hermes Agent

Denk dir Hermes Agent wie einen smarten Assistenten und Ollama als sein kostenloses, lokales Gehirn – zusammen sind sie ein starkes Duo, ganz ohne einen Cent für Cloud-KI auszugeben.

Was du brauchst

Hermes Agent (das Assistenten-Framework)
Ollama (führt KI-Modelle auf deinem Computer aus)
Docker (optional, macht die Einrichtung aber einfacher)

Schritt 1: Ollama installieren

Lade zuerst Ollama von ollama.com herunter und installiere es. Danach ziehst du ein Modell:

ollama pull llama3.2

Das lädt ein kleines, schnelles Modell herunter, das hervorragend mit Hermes funktioniert.

Schritt 2: Ollama ausführen

Starte Ollama als Server, damit Hermes damit kommunizieren kann:

ollama serve

Standardmäßig lauscht Ollama auf Port 11434. Lass dieses Terminalfenster geöffnet.

Schritt 3: Hermes mit Ollama verbinden

Wenn du Hermes direkt auf deinem Computer ausführst (nicht in Docker), erstelle eine Konfigurationsdatei unter ~/.hermes/config.yaml:

model:
  provider: custom
  model: llama3.2
  base_url: http://127.0.0.1:11434/v1
  api_key: "none"

Wichtig: Der model-Name muss exakt mit dem übereinstimmen, das du vorher heruntergeladen hast.

Schritt 4: Hermes ausführen

Jetzt startest du Hermes:

docker run -d \
  --name hermes \
  --network host \
  -v ~/.hermes:/opt/data \
  nousresearch/hermes-agent gateway run

Hinweis: Mit --network host unter Linux kann Hermes Ollama unter 127.0.0.1 erreichen. Auf Mac/Windows verwende stattdessen host.docker.internal:11434.

Schritt 5: Testen

Prüfe, ob Hermes Ollama erreichen kann:

docker exec hermes curl -s http://127.0.0.1:11434/v1/models

Du solltest eine Liste mit llama3.2 sehen. Falls nicht, überprüfe, ob Ollama noch läuft.

Problemlösung

Keine Verbindung? Stelle sicher, dass Ollama auf 0.0.0.0 lauscht, nicht nur auf 127.0.0.1. Führe bei Bedarf OLLAMA_HOST=0.0.0.0 ollama serve aus.
Modell nicht gefunden? Der Name in deiner Konfiguration muss exakt mit dem übereinstimmen, das du heruntergeladen hast.
Port-Konflikt? Ändere den Port von Ollama mit OLLAMA_PORT=11435 und aktualisiere deine Konfiguration.

Warum das großartig ist

Für immer kostenlos – keine API-Rechnungen
Privat – deine Daten bleiben auf deinem Rechner
Offline-fähig – funktioniert ohne Internet

Letzter Tipp

Starte mit einem kleinen Modell wie llama3.2 (3B), um zu testen, ob alles funktioniert. Wenn du dich sicher fühlst, probiere größere Modelle wie qwen2.5:7b für bessere Antworten aus – denk nur daran, den model-Namen in deiner Konfiguration zu aktualisieren.

Du hast jetzt einen komplett lokalen, kostenlosen KI-Assistenten, der mit Hermes und Ollama läuft. Viel Spaß beim Bauen!