Run Local LLMs on Mac

Exécuter des LLM locaux sur Mac

Alors, vous avez Hermes Agent qui tourne sur votre Mac, et vous êtes prêt à plonger dans le monde des LLM locaux. Excellent choix ! Mais avant de commencer à discuter, vous devez comprendre comment Hermes gère les modèles. Imaginez que vous montez une cuisine : vous avez votre chef principal, et puis toute une équipe de spécialistes pour des tâches précises.

Les Deux Types d’Emplacements de Modèles

Hermes utilise deux types d’emplacements de modèles :

• Modèle principal — c’est votre chef cuisinier. Chaque message utilisateur, chaque boucle d’appel d’outils, chaque réponse en streaming passe par ce modèle. C’est le cerveau de l’opération.
• Modèles auxiliaires — ce sont vos sous-chefs. Ils gèrent des tâches secondaires comme la compression de contexte, la vision (analyse d’images), le résumé de pages web, la notation d’approbation, le routage d’outils MCP, la génération de titres de session et la recherche de compétences. Chacun a son propre emplacement et peut être remplacé indépendamment.

Pour Commencer : Le Chemin le Plus Rapide

Si vous débutez avec Hermes, le moyen le plus rapide de configurer vos modèles est via le Nous Portal. Il vous donne accès à plus de 300 modèles avec un seul abonnement. Sur une nouvelle installation, lancez simplement :

hermes setup --portal

Cela vous connecte et définit Nous comme votre fournisseur en une seule commande. Vous pouvez vérifier ce qui est configuré avec hermes portal info. En plus, les abonnés au portal bénéficient de 10% de réduction sur les fournisseurs facturés aux tokens. Pas mal, non ?

La Page des Modèles

Ouvrez le tableau de bord et cliquez sur Modèles dans la barre latérale. Vous verrez deux sections :

1. Paramètres des modèles — le panneau supérieur où vous assignez des modèles aux emplacements.
2. Analytique d’utilisation — des cartes classées montrant chaque modèle qui a exécuté une session, avec les compteurs de tokens, les coûts et les badges de capacités.

La carte du haut est le panneau Paramètres des modèles. La ligne principale montre ce que l’agent va démarrer pour les nouvelles sessions. Cliquez sur Changer pour ouvrir le sélecteur.

Définir le Modèle Principal

Le sélecteur a deux colonnes :

• Gauche — les fournisseurs authentifiés. Seuls les fournisseurs que vous avez configurés (clé API définie, OAuth, ou endpoint personnalisé) apparaissent ici. Si un fournisseur manque, allez dans Clés et ajoutez ses identifiants.
• Droite — la liste de modèles organisée pour le fournisseur sélectionné. Ce sont les modèles agentiques recommandés par Hermes, pas la liste brute /models (qui sur OpenRouter inclut plus de 400 modèles, y compris TTS, générateurs d’images et rerankers).

Tapez dans la zone de filtre pour affiner par nom de fournisseur, slug ou ID de modèle. Choisissez un modèle, cliquez sur Changer, et Hermes l’écrit dans ~/.hermes/config.yaml. Cela s’applique uniquement aux nouvelles sessions — tout onglet de discussion déjà ouvert continue avec le modèle avec lequel il a démarré. Pour changer à chaud la discussion en cours, utilisez la commande slash /model à l’intérieur.

Changements en Cours de Session : Un Mot de Prudence

Lorsque vous changez de modèle dans une session active, Hermes estime si votre prochain message déclenchera une compression de contexte de pré-vol par rapport à la fenêtre du nouveau modèle. Si la session est déjà proche ou au-dessus du seuil de compression de ce modèle, vous recevrez un avertissement. Le changement s’applique immédiatement, mais la compression s’exécute sur le premier message utilisateur après le changement.

Important : Les changements en cours de session réinitialisent le cache de prompt. Les caches de prompt sont liés au modèle qui sert la requête, donc tout changement de modèle en pleine conversation signifie que le message suivant relit toute la conversation au prix plein des tokens d’entrée au lieu du tarif en cache (réduction d’environ 75 à 90 %). Sur une longue session, cette relecture unique peut éclipser la différence par token entre les deux modèles. Changez quand vous en avez besoin, mais préférez le faire tôt dans une conversation.

Niveaux d’Entraînement de Données Sans Surveillance

Certains modèles comme muse-spark-1.2-contributor sont réduits parce que le fournisseur peut s’entraîner sur vos prompts et complétions. La sélection interactive de modèles affiche toujours une invite de confirmation. Mais les chemins de démarrage non interactifs (comme les workers Kanban et les agents cron) échouent par défaut car ils ne peuvent pas poser cette question.

Si l’entraînement sur les données de la charge de travail sans surveillance est acceptable, enregistrez un accusé de réception persistant :

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes affiche toujours l’avertissement complet de politique de données à chaque démarrage sans surveillance, donc les journaux des workers conservent une piste d’audit. Révoquez-le avec :

hermes config unset security.allow_data_training_tiers_noninteractive

Définir les Modèles Auxiliaires

Cliquez sur Afficher les auxiliaires pour révéler les 11 emplacements de tâches. Chaque tâche auxiliaire est par défaut sur auto — ce qui signifie qu’Hermes essaie aussi votre modèle principal pour ce travail. Si cette route n’est pas disponible, auto suit toute chaîne de repli spécifique à la tâche, puis la chaîne de repli principale, puis la chaîne de découverte auxiliaire intégrée d’Hermes. Remplacez une tâche spécifique lorsque vous voulez un modèle moins cher ou plus rapide pour un travail secondaire.

Une Note sur le Schéma model:

Sur une toute nouvelle installation, la configuration par défaut fournie a model: "" (un sentinelle de chaîne vide signifiant « pas encore configuré »). La première fois que vous lancez hermes setup ou hermes model, cette clé est mise à niveau sur place vers un mapping avec les sous-clés provider, default, base_url et api_mode. Si vous voyez un jour une chaîne vide dans config.yaml, lancez hermes model (ou cliquez sur Changer dans le tableau de bord) et Hermes écrira la forme de dictionnaire pour vous.

Voilà ! Vous êtes maintenant prêt à configurer des modèles comme un pro. Bonne discussion !