Provider di riserva — l'IA non va mai giù

Provider di riserva — l’IA non va mai giù

Ti è mai capitato di essere nel bel mezzo di una grande conversazione con il tuo assistente IA e, all’improvviso, smette di rispondere? Magari il provider ha un’interruzione di servizio, o il modello è sovraccarico. Con Hermes Agent, tutto questo è un ricordo del passato. Pensa ai provider di riserva come alla ruota di scorta della tua auto: speri di non averne mai bisogno, ma quando serve, ti salva la giornata.

Cosa sono i provider di riserva?

In parole povere, un provider di riserva è un modello IA di backup a cui Hermes passa automaticamente quando il tuo modello principale fallisce. È come avere un Piano B, C e D pronti all’uso. Se il tuo modello principale va giù, Hermes non va nel panico: passa semplicemente, in silenzio, all’opzione successiva disponibile.

Come funziona

Hermes usa due tipi di slot per i modelli:

• Modello principale — il “cervello” che elabora ogni messaggio, chiamata di strumento e risposta.
• Modelli ausiliari — assistenti più piccoli che gestiscono compiti specifici come riassumere pagine web, analizzare immagini o comprimere conversazioni lunghe.

Quando configuri il tuo modello principale, puoi anche definire una catena di fallback. Se il modello primario fallisce, Hermes prova automaticamente il successivo in lista. Questa catena si chiama catena fallback_providers / fallback_model.

Configurare la tua catena di fallback

Il modo più semplice per iniziare è con il Nous Portal. Su una nuova installazione, basta eseguire:

hermes setup --portal

Questo ti fa accedere e imposta Nous come provider in un solo comando. Puoi verificare cosa è configurato con:

hermes portal info

Gli abbonati al Portal ricevono anche 10% di sconto sui provider a consumo di token — un bel bonus!

La pagina Modelli

Apri la dashboard e clicca su Modelli nella barra laterale. Vedrai due sezioni:

1. Impostazioni modello — dove assegni i modelli agli slot.
2. Analisi utilizzo — schede che mostrano ogni modello che ha eseguito una sessione, con conteggi di token e costi.

La scheda in alto è il pannello Impostazioni modello. Clicca su Cambia nella riga del modello principale per aprire il selettore.

Scegliere il tuo modello principale

Il selettore ha due colonne:

• Sinistra — i provider a cui hai già effettuato l’accesso (chiavi API impostate, OAuth o endpoint personalizzati).
• Destra — l’elenco curato dei modelli agentici consigliati per quel provider.

Scrivi nel campo di filtro per restringere i risultati. Scegli un modello, premi Cambia, e Hermes lo scrive nel tuo file di configurazione.

Importante: questo vale solo per le nuove sessioni. Se vuoi cambiare al volo la chat corrente, usa il comando slash /model all’interno di essa.

Cambi a metà sessione e avvisi di contesto

Quando cambi modello a metà conversazione, Hermes verifica se il tuo prossimo messaggio richiederà la compressione del contesto. Se sei vicino al limite del nuovo modello, riceverai un avviso — ma il cambio viene comunque applicato immediatamente.

Attenzione: cambiare modello a metà sessione azzera la cache del prompt. Questo significa che il messaggio successivo rilegge l’intera conversazione a prezzo pieno, invece che alla tariffa scontata della cache. In una sessione lunga, questo costo una tantum può essere significativo. Quindi cambia all’inizio di una conversazione, non a metà di una discussione approfondita.

Modelli ausiliari: i tirapiedi

Clicca su Mostra ausiliari per rivelare 11 slot di attività. Questi gestiscono:

• Compressione del contesto
• Visione (analisi delle immagini)
• Riassunto di pagine web
• Punteggio di approvazione
• Instradamento degli strumenti MCP
• Generazione del titolo della sessione
• Ricerca di competenze

Ogni attività ausiliaria è impostata su auto per impostazione predefinita — il che significa che Hermes prova il tuo modello principale anche per quel compito. Se fallisce, segue la catena di fallback specifica dell’attività, poi la catena di fallback principale, poi il rilevamento integrato di Hermes.

Sovrascrivi un’attività specifica quando vuoi un modello più economico o più veloce per un compito secondario. Ad esempio, potresti usare un modello piccolo e veloce per riassumere pagine web, mantenendo il tuo potente modello principale per il ragionamento.

Livelli di addestramento dati non supervisionati

Alcuni modelli scontati consentono al fornitore di addestrarsi sui tuoi dati. Le sessioni interattive mostrano sempre un prompt di conferma. Ma per i carichi di lavoro non supervisionati (come gli agenti cron), Hermes fallisce in modalità sicura — non userà quei modelli a meno che tu non lo consenta esplicitamente.

Per abilitarli:

hermes config set security.allow_data_training_tiers_noninteractive true

Puoi revocarlo in qualsiasi momento con:

hermes config unset security.allow_data_training_tiers_noninteractive

In conclusione

I provider di riserva significano che la tua IA non va mai giù. Che si tratti di un’interruzione del provider, di un limite di velocità o di un modello che sta semplicemente avendo una brutta giornata, Hermes ti copre le spalle. Configura la tua catena, imposta i tuoi ausiliari e goditi conversazioni IA ininterrotte — qualunque cosa accada dietro le quinte.