Lokale LLMs auf dem Mac ausführen

Lokale LLMs auf dem Mac ausführen

Du hast Hermes Agent also auf deinem Mac am Laufen und bist bereit, in die Welt der lokalen LLMs einzutauchen. Gute Wahl! Aber bevor du losplauderst, musst du verstehen, wie Hermes mit Modellen umgeht. Stell es dir wie das Einrichten einer Küche vor: Du hast deinen Chefkoch und dann eine Reihe spezialisierter Helfer für bestimmte Aufgaben.

Die zwei Arten von Modell-Slots

Hermes verwendet zwei Arten von Modell-Slots:

• Hauptmodell – das ist dein Chefkoch. Jede Benutzernachricht, jede Tool-Call-Schleife, jede gestreamte Antwort läuft durch dieses Modell. Es ist das Gehirn der Operation.
• Hilfsmodelle – das sind deine Sous-Chefs. Sie übernehmen kleinere Nebenaufgaben wie Kontextkomprimierung, Vision (Bildanalyse), Webseiten-Zusammenfassung, Genehmigungs-Scoring, MCP-Tool-Routing, Session-Titel-Generierung und Skill-Suche. Jedes hat seinen eigenen Slot und kann unabhängig überschrieben werden.

Erste Schritte: Der schnellste Weg

Wenn du neu bei Hermes bist, ist der schnellste Weg, Modelle zu konfigurieren, über das Nous Portal. Es gibt dir Zugang zu über 300 Modellen mit einem einzigen Abonnement. Bei einer frischen Installation führe einfach Folgendes aus:

hermes setup --portal

Das meldet dich an und setzt Nous als deinen Provider in einem einzigen Befehl. Du kannst mit hermes portal info überprüfen, was eingerichtet ist. Außerdem erhalten Portal-Abonnenten 10 % Rabatt auf token-abgerechnete Provider. Nicht schlecht, oder?

Die Modelle-Seite

Öffne das Dashboard und klicke in der Seitenleiste auf Modelle. Du siehst zwei Abschnitte:

1. Modelleinstellungen – das obere Panel, in dem du Modelle den Slots zuweist.
2. Nutzungsanalyse – sortierte Karten, die jedes Modell zeigen, das eine Session ausgeführt hat, mit Token-Anzahl, Kosten und Fähigkeits-Badges.

Die oberste Karte ist das Modelleinstellungen-Panel. Die Hauptzeile zeigt, was der Agent für neue Sessions hochfährt. Klicke auf Ändern, um den Picker zu öffnen.

Das Hauptmodell festlegen

Der Picker hat zwei Spalten:

• Links – authentifizierte Provider. Nur Provider, die du eingerichtet hast (API-Schlüssel gesetzt, OAuth-verbunden oder als benutzerdefinierter Endpunkt definiert), erscheinen hier. Wenn ein Provider fehlt, gehe zu Schlüssel und füge seine Anmeldedaten hinzu.
• Rechts – die kuratierte Modellliste für den ausgewählten Provider. Das sind die agentischen Modelle, die Hermes empfiehlt, nicht der rohe /models-Dump (der bei OpenRouter über 400 Modelle umfasst, einschließlich TTS, Bildgeneratoren und Rerankern).

Tippe in das Filterfeld, um nach Providername, Slug oder Modell-ID einzugrenzen. Wähle ein Modell, klicke auf Wechseln, und Hermes schreibt es in ~/.hermes/config.yaml. Dies gilt nur für neue Sessions – jeder Chat-Tab, den du bereits geöffnet hast, läuft mit dem Modell weiter, mit dem er gestartet wurde. Um den aktuellen Chat heiß zu wechseln, verwende den /model-Slash-Befehl darin.

Wechsel mitten in der Session: Ein Wort der Vorsicht

Wenn du Modelle innerhalb einer aktiven Session wechselst, schätzt Hermes ab, ob deine nächste Nachricht eine Preflight-Kontextkomprimierung gegen das Fenster des neuen Modells auslöst. Wenn die Session bereits nahe oder über der Komprimierungsschwelle dieses Modells liegt, erhältst du eine Warnung. Der Wechsel wird trotzdem sofort angewendet, aber die Komprimierung läuft bei der ersten Benutzernachricht nach dem Wechsel.

Wichtig: Wechsel mitten in der Session setzen den Prompt-Cache zurück. Prompt-Caches sind an das Modell gebunden, das die Anfrage bedient. Jede Modelländerung mitten im Gespräch bedeutet, dass die nächste Nachricht die gesamte Konversation zum vollen Input-Token-Preis neu liest, statt zum gecachten (etwa 75–90 % reduzierten) Satz. Bei einer langen Session kann dieses einmalige Neulesen den Token-für-Token-Unterschied zwischen den beiden Modellen in den Schatten stellen. Wechsle, wenn du musst, aber bevorzugt früh in einem Gespräch.

Unbeaufsichtigte Daten-Training-Stufen

Einige Modelle wie muse-spark-1.2-contributor sind rabattiert, weil der Anbieter möglicherweise auf deinen Prompts und Antworten trainiert. Die interaktive Modellauswahl zeigt immer einen Bestätigungsdialog. Aber nicht-interaktive Startpfade (wie Kanban-Worker und Cron-Agenten) schlagen fehl, weil sie diese Frage nicht stellen können.

Wenn das Training auf den Daten der unbeaufsichtigten Workload akzeptabel ist, bestätige eine dauerhafte Bestätigung:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes druckt trotzdem bei jedem unbeaufsichtigten Start die vollständige Datenrichtlinien-Warnung, sodass Worker-Logs einen Prüfpfad behalten. Widerrufe es mit:

hermes config unset security.allow_data_training_tiers_noninteractive

Hilfsmodelle festlegen

Klicke auf Hilfsmodelle anzeigen, um die 11 Aufgaben-Slots zu enthüllen. Jede Hilfsaufgabe ist standardmäßig auf auto gesetzt – das bedeutet, Hermes versucht dein Hauptmodell auch für diese Aufgabe. Wenn dieser Weg nicht verfügbar ist, folgt auto jeder aufgabenspezifischen Fallback-Kette, dann der Haupt-Fallback-Kette, dann der integrierten Hilfsmodell-Erkennungskette von Hermes. Überschreibe eine bestimmte Aufgabe, wenn du ein günstigeres oder schnelleres Modell für eine Nebenaufgabe möchtest.

Ein Hinweis zum model:-Schema

Bei einer brandneuen Installation hat die gebündelte Standardkonfiguration model: "" (ein leerer String-Sentinel, der “noch nicht konfiguriert” bedeutet). Beim ersten Mal, wenn du hermes setup oder hermes model ausführst, wird dieser Schlüssel an Ort und Stelle zu einem Mapping mit provider, default, base_url und api_mode-Unter-Schlüsseln aktualisiert. Wenn du jemals einen leeren String in config.yaml siehst, führe hermes model aus (oder klicke im Dashboard auf Ändern), und Hermes schreibt die Dict-Form für dich.

Das war’s! Du bist jetzt bereit, Modelle wie ein Profi zu konfigurieren. Viel Spaß beim Chatten!