Fallback Providers — AI Never Down

Fallback-Provider – KI nie wieder offline

Kennst du das? Du bist mitten in einem tollen Gespräch mit deinem KI-Assistenten und plötzlich kommt keine Antwort mehr. Vielleicht hat der Provider eine Störung oder das Modell ist überlastet. Mit Hermes Agent gehört das der Vergangenheit an. Stell dir Fallback-Provider wie ein Ersatzrad in deinem Auto vor – du hoffst, es nie zu brauchen, aber wenn es so weit ist, rettet es dir den Tag.

Was sind Fallback-Provider?

Einfach ausgedrückt ist ein Fallback-Provider ein Backup-KI-Modell, das Hermes automatisch aktiviert, wenn dein primäres Modell ausfällt. Es ist, als hättest du einen Plan B, C und D in der Hinterhand. Wenn dein Hauptmodell ausfällt, gerät Hermes nicht in Panik – es wechselt einfach leise zur nächsten verfügbaren Option.

So funktioniert es

Hermes verwendet zwei Arten von Modell-Slots:

• Hauptmodell – das „Gehirn“, das jede Nachricht, jeden Tool-Aufruf und jede Antwort durchdenkt.
• Hilfsmodelle – kleinere Sidekicks, die spezielle Aufgaben übernehmen, wie das Zusammenfassen von Webseiten, das Analysieren von Bildern oder das Komprimieren langer Unterhaltungen.

Wenn du dein Hauptmodell einrichtest, kannst du auch eine Kette von Fallbacks definieren. Wenn das primäre Modell ausfällt, versucht Hermes automatisch das nächste in der Reihe. Diese Kette wird als fallback_providers / fallback_model-Kette bezeichnet.

Einrichten deiner Fallback-Kette

Der einfachste Weg, loszulegen, ist das Nous Portal. Bei einer frischen Installation führst du einfach Folgendes aus:

hermes setup --portal

Das meldet dich an und setzt Nous als deinen Provider in einem einzigen Befehl. Du kannst überprüfen, was verbunden ist, mit:

hermes portal info

Portal-Abonnenten erhalten außerdem 10 % Rabatt auf token-abgerechnete Provider – ein netter Bonus!

Die Modelle-Seite

Öffne das Dashboard und klicke in der Seitenleiste auf Modelle. Du siehst zwei Abschnitte:

1. Modelleinstellungen – hier weist du Modelle den Slots zu.
2. Nutzungsanalysen – Karten, die jedes Modell zeigen, das eine Sitzung ausgeführt hat, mit Token-Anzahl und Kosten.

Die oberste Karte ist das Modelleinstellungen-Panel. Klicke auf Ändern in der Zeile des Hauptmodells, um den Auswähler zu öffnen.

Auswahl deines Hauptmodells

Der Auswähler hat zwei Spalten:

• Links – Provider, bei denen du dich bereits authentifiziert hast (API-Schlüssel gesetzt, OAuth oder benutzerdefinierte Endpunkte).
• Rechts – die kuratierte Liste empfohlener agentischer Modelle für diesen Provider.

Gib im Filterfeld etwas ein, um die Auswahl einzugrenzen. Wähle ein Modell, klicke auf Wechseln, und Hermes schreibt es in deine Konfigurationsdatei.

Wichtig: Dies gilt nur für neue Sitzungen. Wenn du den aktuellen Chat direkt wechseln möchtest, verwende den /model-Slash-Befehl innerhalb des Chats.

Wechsel mitten in der Sitzung und Kontextwarnungen

Wenn du mitten in einer Unterhaltung das Modell wechselst, prüft Hermes, ob deine nächste Nachricht eine Kontextkomprimierung benötigt. Wenn du dich nahe am Limit des neuen Modells befindest, erhältst du eine Warnung – der Wechsel wird aber trotzdem sofort angewendet.

Achtung: Ein Modellwechsel mitten in der Sitzung setzt den Prompt-Cache zurück. Das bedeutet, dass die nächste Nachricht die gesamte Unterhaltung zum vollen Preis neu liest, statt zum rabattierten Cache-Tarif. Bei einer langen Sitzung können diese einmaligen Kosten erheblich sein. Wechsle also früh in einer Unterhaltung, nicht mitten in einer tiefgründigen Diskussion.

Hilfsmodelle: Die Sidekicks

Klicke auf Hilfsmodelle anzeigen, um 11 Aufgaben-Slots zu sehen. Diese übernehmen:

• Kontextkomprimierung
• Vision (Bildanalyse)
• Webseiten-Zusammenfassung
• Genehmigungsbewertung
• MCP-Tool-Routing
• Generierung von Sitzungstiteln
• Skill-Suche

Jede Hilfsaufgabe ist standardmäßig auf auto eingestellt – das bedeutet, Hermes versucht auch für diese Aufgabe dein Hauptmodell. Wenn das fehlschlägt, folgt es der aufgabenspezifischen Fallback-Kette, dann der Haupt-Fallback-Kette und dann der integrierten Erkennung von Hermes.

Überschreibe eine bestimmte Aufgabe, wenn du für eine Nebenaufgabe ein günstigeres oder schnelleres Modell möchtest. Du könntest zum Beispiel ein kleines, schnelles Modell für das Zusammenfassen von Webseiten verwenden, während dein leistungsstarkes Hauptmodell für das Denken reserviert bleibt.

Unbeaufsichtigte Datentrainings-Stufen

Einige rabattierte Modelle erlauben es dem Anbieter, mit deinen Daten zu trainieren. Interaktive Sitzungen zeigen immer einen Bestätigungsdialog. Aber für unbeaufsichtigte Workloads (wie Cron-Agenten) schlägt Hermes im Zweifel fehl – es verwendet diese Modelle nicht, es sei denn, du erlaubst es ausdrücklich.

Um sie zu aktivieren:

hermes config set security.allow_data_training_tiers_noninteractive true

Jederzeit widerrufbar mit:

hermes config unset security.allow_data_training_tiers_noninteractive

Das Fazit

Fallback-Provider bedeuten, dass deine KI nie ausfällt. Ob Provider-Störung, Rate-Limit oder ein Modell, das einfach einen schlechten Tag hat – Hermes hat deinen Rücken. Richte deine Kette ein, konfiguriere deine Hilfsmodelle und genieße unterbrechungsfreie KI-Gespräche – egal, was hinter den Kulissen passiert.

---