Run Local LLMs on Mac

Ejecuta LLMs Locales en Mac

Así que ya tienes Hermes Agent funcionando en tu Mac y estás listo para sumergirte en el mundo de los LLMs locales. ¡Excelente elección! Pero antes de empezar a chatear, necesitas entender cómo maneja Hermes los modelos. Piénsalo como montar una cocina: tienes a tu chef principal y luego un montón de ayudantes especializados para tareas concretas.

Los Dos Tipos de Ranuras de Modelo

Hermes usa dos tipos de ranuras de modelo:

• Modelo principal — este es tu chef ejecutivo. Cada mensaje del usuario, cada bucle de llamada a herramientas, cada respuesta en streaming pasa por este modelo. Es el cerebro de la operación.
• Modelos auxiliares — estos son tus sous-chefs. Se encargan de tareas secundarias más pequeñas como la compresión de contexto, la visión (análisis de imágenes), el resumen de páginas web, la puntuación de aprobaciones, el enrutamiento de herramientas MCP, la generación de títulos de sesión y la búsqueda de habilidades. Cada uno tiene su propia ranura y se puede sobrescribir de forma independiente.

Primeros Pasos: El Camino Más Rápido

Si eres nuevo en Hermes, la forma más rápida de configurar los modelos es a través del Nous Portal. Te da acceso a más de 300 modelos con una sola suscripción. En una instalación nueva, solo ejecuta:

hermes setup --portal

Esto te inicia sesión y configura Nous como tu proveedor en un solo comando. Puedes comprobar qué está conectado con hermes portal info. Además, los suscriptores del portal obtienen un 10% de descuento en proveedores facturados por tokens. No está mal, ¿verdad?

La Página de Modelos

Abre el panel de control y haz clic en Modelos en la barra lateral. Verás dos secciones:

1. Configuración de modelos — el panel superior donde asignas modelos a las ranuras.
2. Analíticas de uso — tarjetas clasificadas que muestran cada modelo que ha ejecutado una sesión, con recuentos de tokens, coste e insignias de capacidades.

La tarjeta superior es el panel de Configuración de modelos. La fila principal muestra lo que el agente pondrá en marcha para las nuevas sesiones. Haz clic en Cambiar para abrir el selector.

Configurar el Modelo Principal

El selector tiene dos columnas:

• Izquierda — proveedores autenticados. Solo aparecen aquí los proveedores que has configurado (con clave API establecida, OAuth o definidos como endpoint personalizado). Si falta un proveedor, ve a Claves y añade su credencial.
• Derecha — la lista de modelos seleccionados para el proveedor elegido. Estos son los modelos agénticos que recomienda Hermes, no el volcado bruto de /models (que en OpenRouter incluye más de 400 modelos, incluidos TTS, generadores de imágenes y rerankers).

Escribe en el cuadro de filtro para acotar por nombre de proveedor, slug o ID de modelo. Elige un modelo, pulsa Cambiar, y Hermes lo escribe en ~/.hermes/config.yaml. Esto solo se aplica a las sesiones nuevas — cualquier pestaña de chat que ya tengas abierta seguirá ejecutando el modelo con el que empezó. Para cambiar en caliente el chat actual, usa el comando de barra /model dentro de él.

Cambios a Mitad de Sesión: Una Palabra de Precaución

Cuando cambias de modelo dentro de una sesión activa, Hermes estima si tu próximo mensaje ejecutará una compresión de contexto previa al vuelo contra la ventana del nuevo modelo. Si la sesión ya está cerca o por encima del umbral de compresión de ese modelo, recibirás una advertencia. El cambio se aplica de inmediato, pero la compresión se ejecuta en el primer mensaje del usuario después del cambio.

Importante: Los cambios a mitad de sesión restablecen la caché de prompts. Las cachés de prompts están vinculadas al modelo que atiende la solicitud, así que cualquier cambio de modelo a mitad de conversación significa que el siguiente mensaje relee toda la conversación al precio completo de tokens de entrada en lugar de la tarifa cacheada (con un descuento de ~75–90%). En una sesión larga, esta relectura única puede eclipsar la diferencia por token entre los dos modelos. Cambia cuando lo necesites, pero prefiere hacerlo al principio de una conversación.

Niveles de Entrenamiento de Datos sin Supervisión

Algunos modelos como muse-spark-1.2-contributor tienen descuento porque el proveedor puede entrenar con tus prompts y completaciones. La selección interactiva de modelos siempre muestra un aviso de confirmación. Pero las rutas de inicio no interactivas (como los trabajadores de Kanban y los agentes cron) fallan de forma segura porque no pueden hacer esa pregunta.

Si el entrenamiento con los datos de la carga de trabajo no supervisada es aceptable, registra un reconocimiento persistente:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes sigue imprimiendo la advertencia completa de la política de datos en cada inicio no supervisado, así que los registros de los trabajadores conservan un rastro de auditoría. Revócalo con:

hermes config unset security.allow_data_training_tiers_noninteractive

Configurar Modelos Auxiliares

Haz clic en Mostrar auxiliares para revelar las 11 ranuras de tareas. Cada tarea auxiliar tiene como valor predeterminado auto — lo que significa que Hermes también prueba tu modelo principal para esa tarea. Si esa ruta no está disponible, auto sigue cualquier cadena de respaldo específica de la tarea, luego la cadena de respaldo principal y, finalmente, la cadena de descubrimiento auxiliar integrada de Hermes. Sobrescribe una tarea específica cuando quieras un modelo más barato o más rápido para una tarea secundaria.

Una Nota sobre el Esquema model:

En una instalación completamente nueva, la configuración predeterminada incluida tiene model: "" (un centinela de cadena vacía que significa “aún no configurado”). La primera vez que ejecutes hermes setup o hermes model, esa clave se actualiza en el lugar a un mapeo con las subclaves provider, default, base_url y api_mode. Si alguna vez ves una cadena vacía en config.yaml, ejecuta hermes model (o haz clic en Cambiar en el panel de control) y Hermes escribirá la forma de diccionario por ti.

¡Eso es todo! Ya estás listo para configurar modelos como un profesional. ¡Feliz chateo!