Tutorial 13: How to Choose the Right AI Model in Hermes

튜토리얼 13: Hermes에서 올바른 AI 모델 선택하는 방법

Hermes 에이전트 시리즈에 다시 오신 것을 환영합니다! 이번 튜토리얼에서는 여러분이 내릴 가장 중요한 결정 중 하나인 올바른 AI 모델 선택에 대해 깊이 있게 알아보겠습니다. 초보자든 베테랑이든, Hermes가 모델을 어떻게 처리하는지 이해하면 최상의 성능과 가치를 얻을 수 있습니다.

두 가지 종류의 모델 슬롯

Hermes는 두 가지 유형의 모델 슬롯을 사용합니다:

메인 모델 — 에이전트의 “두뇌” 역할을 합니다. 모든 사용자 메시지, 모든 도구 호출, 모든 스트리밍 응답이 이 모델을 거쳐갑니다. 핵심 작업을 담당하는 모델이죠.
보조 모델 — 에이전트가 오프로드하는 더 작은 보조 작업들입니다. 컨텍스트 압축, 이미지 분석, 웹페이지 요약, 승인 점수 산정, MCP 도구 라우팅, 세션 제목 생성, 스킬 검색 같은 작업을 위한 특화된 도우미라고 생각하면 됩니다. 각각 고유한 슬롯을 가지며 독립적으로 재정의할 수 있습니다.

가장 빠른 방법: Nous Portal

세부 사항을 살펴보기 전에, 전문가 팁 하나를 알려드릴게요. Nous Portal을 이용하면 하나의 구독으로 300개 이상의 모델에 접근할 수 있습니다. 새로 설치한 경우, 다음 명령어만 실행하면 됩니다:

hermes setup --portal

이 명령 하나로 로그인하고 Nous를 공급자로 설정할 수 있습니다. 연결 상태는 hermes portal info로 확인할 수 있습니다. 게다가 Portal 구독자는 토큰 과금 공급자 이용료의 10% 할인을 받을 수 있습니다. 나쁘지 않죠!

`model:` 스키마 이해하기

새로 설치한 상태에서는 config에 model: ""(아직 설정되지 않음을 의미하는 빈 문자열)이 있습니다. hermes setup 또는 hermes model을 처음 실행하면 이 키는 provider, default, base_url, api_mode 하위 키를 가진 매핑으로 업그레이드됩니다. config.yaml에 빈 문자열이 보이면 hermes model을 실행하거나(또는 대시보드에서 Change 클릭) Hermes가 자동으로 수정해 줍니다.

모델 페이지

대시보드를 열고 사이드바에서 Models를 클릭하세요. 두 개의 섹션이 표시됩니다:

Model Settings — 슬롯에 모델을 할당하는 상단 패널
Usage analytics — 세션을 실행한 모든 모델을 토큰 수, 비용, 기능 배지와 함께 보여주는 순위 카드

메인 모델 설정하기

메인 모델 행에서 Change를 클릭하세요. 선택기는 두 개의 열로 구성됩니다:

왼쪽 — 인증된 공급자 목록. 설정한 공급자(API 키, OAuth 또는 사용자 지정 엔드포인트)만 여기에 표시됩니다. 공급자가 없다면 Keys로 이동하여 자격 증명을 추가하세요.
오른쪽 — 선택한 공급자에 대한 큐레이션된 모델 목록. Hermes가 추천하는 에이전트용 모델들로, 원시 /models 덤프(OpenRouter의 경우 TTS 및 이미지 생성기를 포함한 400개 이상의 모델)가 아닙니다!

모델을 선택하고 Switch를 누르면 Hermes가 ~/.hermes/config.yaml에 기록합니다. 이 변경은 새 세션에만 적용됩니다 — 이미 열려 있는 채팅 탭은 시작할 때 사용한 모델을 계속 사용합니다. 현재 채팅을 즉시 변경하려면 채팅 내에서 /model 슬래시 명령어를 사용하세요.

세션 중간 전환 및 컨텍스트 경고

활성 세션 중에 모델을 전환하면, Hermes는 다음 메시지가 새 모델의 윈도우에 대해 사전 컨텍스트 압축을 실행할지 여부를 추정합니다. 세션이 이미 해당 모델의 압축 임계값에 근접하거나 초과한 경우 경고가 표시됩니다. 전환은 즉시 적용되며, 압축은 전환 후 첫 번째 사용자 메시지에서 실행됩니다.

중요: 세션 중간 전환은 프롬프트 캐시를 초기화합니다. 프롬프트 캐시는 요청을 처리하는 모델에 키가 지정되므로, 대화 중간에 모델을 변경하면 다음 메시지가 캐시된 할인율(~75–90% 할인) 대신 전체 입력 토큰 가격으로 전체 대화를 다시 읽게 됩니다. 긴 세션에서는 이 일회성 재읽기가 두 모델 간의 토큰당 차이보다 더 클 수 있습니다. 필요할 때 전환하되, 대화 초반이나 새 세션을 시작한 직후에 전환하는 것이 좋습니다.

무인 데이터 학습 등급

일부 모델(예: muse-spark-1.2-contributor)은 공급자가 사용자 데이터를 학습에 사용할 수 있기 때문에 할인된 가격으로 제공됩니다. 대화형 모델 선택에서는 항상 확인 프롬프트가 표시됩니다. 하지만 Kanban 워커나 cron 에이전트 같은 비대화형 시작 경로는 질문을 할 수 없기 때문에 기본적으로 차단됩니다.

무인 워크로드의 데이터에 대한 학습이 허용 가능하다면, 영구 확인을 기록하세요:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes는 여전히 모든 무인 시작 시 전체 데이터 정책 경고를 출력하므로 워커 로그에 감사 추적이 남습니다. 해제하려면 다음 명령어를 사용하세요:

hermes config unset security.allow_data_training_tiers_noninteractive

보조 모델 설정하기

Show auxiliary를 클릭하면 11개의 작업 슬롯이 표시됩니다. 모든 보조 작업은 기본적으로 auto로 설정되어 있습니다 — 즉 Hermes가 해당 작업에도 메인 모델을 사용하려고 시도합니다. 이 경로를 사용할 수 없거나 용량 관련 오류가 발생하면 auto는 작업별 폴백 체인, 그다음 메인 폴백 체인, 마지막으로 Hermes의 내장 보조 모델 검색 체인을 따릅니다. 보조 작업에 더 저렴하거나 빠른 모델을 원할 때 특정 작업을 재정의하세요.

마무리

Hermes에서 올바른 모델을 선택하는 것은 워크로드를 이해하는 것이 핵심입니다. 무거운 사고 작업에는 메인 모델을 사용하고, 보조 작업을 보조 모델에 오프로드하는 것을 두려워하지 마세요. auto로 시작하고 더 잘 알게 되면 재정의하세요. 그리고 기억하세요 — 캐시 초기화를 피하기 위해 대화 초반에 모델을 전환하세요!

즐거운 모델링 되세요! 🚀