Eseguire LLM Locali su Mac

Eseguire LLM Locali su Mac

Hai Hermes Agent in esecuzione sul tuo Mac e sei pronto a tuffarti nel mondo degli LLM locali. Ottima scelta! Ma prima di iniziare a chiacchierare, devi capire come Hermes gestisce i modelli. Pensalo come allestire una cucina: hai il tuo chef principale e poi una serie di assistenti specializzati per compiti specifici.

I Due Tipi di Slot per Modelli

Hermes utilizza due tipi di slot per modelli:

• Modello principale — questo è il tuo capo chef. Ogni messaggio utente, ogni ciclo di chiamate strumento, ogni risposta in streaming passa attraverso questo modello. È il cervello dell’operazione.
• Modelli ausiliari — questi sono i tuoi sous-chef. Gestiscono compiti secondari più piccoli come la compressione del contesto, la visione (analisi delle immagini), il riepilogo delle pagine web, il punteggio di approvazione, il routing degli strumenti MCP, la generazione dei titoli delle sessioni e la ricerca delle competenze. Ognuno ha il proprio slot e può essere sovrascritto in modo indipendente.

Per Iniziare: Il Percorso Più Veloce

Se sei nuovo su Hermes, il modo più rapido per configurare i modelli è attraverso il Nous Portal. Ti dà accesso a oltre 300 modelli con un unico abbonamento. Su una nuova installazione, basta eseguire:

hermes setup --portal

Questo ti fa accedere e imposta Nous come tuo provider con un solo comando. Puoi verificare cosa è configurato con hermes portal info. Inoltre, gli abbonati al portal ricevono 10% di sconto sui provider a pagamento a token. Non male, vero?

La Pagina dei Modelli

Apri la dashboard e clicca su Modelli nella barra laterale. Vedrai due sezioni:

1. Impostazioni Modello — il pannello superiore dove assegni i modelli agli slot.
2. Analisi dell’utilizzo — schede classificate che mostrano ogni modello che ha eseguito una sessione, con conteggi di token, costi e badge delle capacità.

La scheda superiore è il pannello Impostazioni Modello. La riga principale mostra cosa l’agente avvierà per le nuove sessioni. Clicca su Cambia per aprire il selettore.

Impostazione del Modello Principale

Il selettore ha due colonne:

• Sinistra — provider autenticati. Solo i provider che hai configurato (chiave API impostata, OAuth effettuato o definito come endpoint personalizzato) appaiono qui. Se un provider manca, vai su Chiavi e aggiungi la sua credenziale.
• Destra — l’elenco curato dei modelli per il provider selezionato. Questi sono i modelli agentici che Hermes raccomanda, non il dump grezzo di /models (che su OpenRouter include oltre 400 modelli, inclusi TTS, generatori di immagini e reranker).

Digita nella casella di filtro per restringere per nome del provider, slug o ID del modello. Scegli un modello, clicca su Cambia, e Hermes lo scrive in ~/.hermes/config.yaml. Questo si applica solo alle nuove sessioni — qualsiasi scheda chat già aperta continua a eseguire il modello con cui è stata avviata. Per cambiare al volo la chat corrente, usa il comando slash /model al suo interno.

Cambi a Metà Sessione: Una Parola di Cautela

Quando cambi modello all’interno di una sessione attiva, Hermes stima se il tuo prossimo messaggio eseguirà la compressione del contesto preflight rispetto alla finestra del nuovo modello. Se la sessione è già vicina o superiore alla soglia di compressione di quel modello, riceverai un avviso. Il cambio si applica comunque immediatamente, ma la compressione viene eseguita sul primo messaggio utente dopo il cambio.

Importante: I cambi a metà sessione reimpostano la cache dei prompt. Le cache dei prompt sono legate al modello che serve la richiesta, quindi qualsiasi cambio di modello a metà conversazione significa che il messaggio successivo rilegge l’intera conversazione al prezzo pieno dei token di input invece della tariffa cache (~75–90% di sconto). In una sessione lunga, questa rilettura una tantum può superare la differenza per token tra i due modelli. Cambia quando necessario, ma preferisci farlo all’inizio di una conversazione.

Livelli di Addestramento Dati Non Supervisionati

Alcuni modelli come muse-spark-1.2-contributor sono scontati perché il fornitore può addestrarsi sui tuoi prompt e completamenti. La selezione interattiva del modello mostra sempre un prompt di conferma. Ma i percorsi di avvio non interattivi (come i worker Kanban e gli agenti cron) falliscono in modo sicuro perché non possono porre quella domanda.

Se l’addestramento sui dati del carico di lavoro non supervisionato è accettabile, registra un riconoscimento persistente:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes stampa comunque l’avviso completo sulla politica dei dati a ogni avvio non supervisionato, quindi i log dei worker mantengono una traccia di audit. Revoca con:

hermes config unset security.allow_data_training_tiers_noninteractive

Impostazione dei Modelli Ausiliari

Clicca su Mostra ausiliari per rivelare gli 11 slot di attività. Ogni attività ausiliaria è impostata su auto per impostazione predefinita — il che significa che Hermes prova anche il tuo modello principale per quel compito. Se quel percorso non è disponibile, auto segue qualsiasi catena di fallback specifica dell’attività, poi la catena di fallback principale, poi la catena di scoperta ausiliaria integrata di Hermes. Sovrascrivi un’attività specifica quando vuoi un modello più economico o più veloce per un compito secondario.

Una Nota sullo Schema model:

Su una nuova installazione, la configurazione predefinita inclusa ha model: "" (un sentinella stringa vuota che significa “non ancora configurato”). La prima volta che esegui hermes setup o hermes model, quella chiave viene aggiornata sul posto in una mappatura con le sotto-chiavi provider, default, base_url e api_mode. Se mai vedi una stringa vuota in config.yaml, esegui hermes model (o clicca su Cambia nella dashboard) e Hermes scriverà la forma dizionario per te.

Questo è tutto! Ora sei pronto a configurare i modelli come un professionista. Buone chiacchierate!