Provider Routing — Smart Model Dispatching | Easy Understand Hermes Agent

공급자 라우팅 — 스마트 모델 디스패칭

AI 에이전트가 호두까기 인형에 망치를 휘두르는 것 같은 느낌, 혼자만 겪는 게 아닙니다. 대부분의 에이전트는 그렇게 많은 지능이 필요 없는 아주 작은 잡일까지도 하나의 크고 강력한 모델로 처리합니다. Hermes는 메인 모델(사고 담당)과 보조 모델(작은 작업 담당)이라는 똑똑한 2계층 시스템으로 이를 바꿉니다.

마치 레스토랑 주방을 떠올려 보세요. 모든 주문을 처리하는 헤드 셰프(메인 모델)가 있고, 각자 자기 일을 처리하는 전문 스테이션들 — 페이스트리 셰프, 그릴 요리사, 준비 담당 — 이 있습니다. Hermes도 정확히 이렇게 작동합니다.

두 종류의 모델 슬롯

Hermes는 두 가지 유형의 모델 슬롯을 사용합니다:

메인 모델 — 두뇌 역할. 모든 사용자 메시지, 모든 도구 호출 루프, 모든 스트리밍 응답이 이 모델을 통과합니다.
보조 모델 — 조력자 역할. 컨텍스트 압축, 비전(이미지 분석), 웹페이지 요약, 승인 점수 산정, MCP 도구 라우팅, 세션 제목 생성, 스킬 검색을 처리합니다. 각각 자체 슬롯이 있으며 독립적으로 재정의할 수 있습니다.

가장 좋은 점은? 이 모든 것을 대시보드에서 바로 구성할 수 있다는 것입니다.

모델 페이지

대시보드를 열고 사이드바에서 Models를 클릭하세요. 두 개의 섹션이 표시됩니다:

Model Settings — 모델을 슬롯에 할당하는 상단 패널.
Usage analytics — 세션을 실행한 모든 모델을 토큰 수, 비용, 기능 배지와 함께 보여주는 순위 카드.

맨 위 카드가 Model Settings 패널입니다. 메인 행에는 에이전트가 새 세션에서 사용할 모델이 항상 표시됩니다. Change를 클릭하여 선택기를 엽니다.

메인 모델 설정

선택기에는 두 개의 열이 있습니다:

왼쪽 — 인증된 공급자. 설정한 공급자(API 키 설정, OAuth 인증, 또는 커스텀 엔드포인트로 정의)만 여기에 표시됩니다. 공급자가 없다면 Keys로 이동하여 자격 증명을 추가하세요.
오른쪽 — 선택한 공급자의 선별된 모델 목록. Hermes가 추천하는 에이전틱 모델이며, 원시 /models 덤프(OpenRouter의 경우 TTS, 이미지 생성기, 리랭커를 포함한 400개 이상의 모델)가 아닙니다.

필터 상자에 입력하여 공급자 이름, 슬러그 또는 모델 ID로 좁힐 수 있습니다.

모델을 선택하고 Switch를 누르면 Hermes가 이를 ~/.hermes/config.yaml의 model 섹션에 기록합니다. 이것은 새 세션에만 적용됩니다 — 이미 열려 있는 채팅 탭은 시작할 때 사용한 모델을 계속 유지합니다. 현재 채팅을 즉시 전환하려면 그 안에서 /model 슬래시 명령어를 사용하세요.

세션 중 전환 및 컨텍스트 경고

활성 세션 내에서 모델을 전환하면 Hermes는 다음 메시지가 새 모델의 윈도우에 대해 사전 컨텍스트 압축을 실행할지 추정합니다. 세션이 이미 해당 모델의 압축 임계값에 가깝거나 초과한 경우, 전환 응답에 경고가 포함됩니다. 전환은 즉시 적용되며, 압축은 전환 후 첫 번째 사용자 메시지에서 실행됩니다.

중요: 세션 중 전환은 프롬프트 캐시를 재설정합니다. 프롬프트 캐시는 요청을 처리하는 모델에 키가 지정되므로, 대화 중간에 모델을 변경하면 다음 메시지가 캐시된 할인율(~75–90% 할인) 대신 전체 입력 토큰 가격으로 전체 대화를 다시 읽게 됩니다. 긴 세션에서는 이 일회성 재읽기 비용이 두 모델 간의 토큰당 차이보다 훨씬 클 수 있습니다. 필요할 때 전환하되, 가능하면 대화 초반에 전환하는 것이 좋습니다.

무인 데이터 학습 등급

일부 모델은 공급자가 프롬프트와 완성 결과를 학습에 사용할 수 있기 때문에 할인됩니다. 대화형 모델 선택은 항상 확인 프롬프트를 표시합니다. 그러나 Kanban 워커나 cron 에이전트 같은 비대화형 시작 경로는 그 질문을 할 수 없기 때문에 안전하게 차단됩니다.

무인 워크로드의 데이터에 대한 학습이 허용 가능하다면, 영구 확인을 기록하세요:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes는 여전히 모든 무인 시작 시 전체 데이터 정책 경고와 확인 키를 출력하므로 워커 로그에 감사 추적이 유지됩니다. 해제하려면 hermes config unset security.allow_data_training_tiers_noninteractive를 실행하세요.

보조 모델 설정

Show auxiliary를 클릭하면 11개의 작업 슬롯이 표시됩니다. 모든 보조 작업은 기본적으로 auto로 설정됩니다 — 즉 Hermes가 해당 작업에도 메인 모델을 사용하려고 시도합니다. 해당 경로를 사용할 수 없거나 용량 관련 오류가 발생하면 auto는 작업별 폴백 체인, 메인 폴백 체인, 그다음 Hermes의 내장 보조 모델 검색 체인을 따릅니다.

부수 작업에 더 저렴하거나 빠른 모델을 원할 때 특정 작업을 재정의하세요. 예를 들어 세션 제목 생성에는 작은 모델을 사용하고 비전 작업에는 큰 모델을 유지할 수 있습니다.

가장 빠른 경로: Nous Portal

Nous Portal은 하나의 구독으로 300개 이상의 모델을 제공합니다. 새로 설치한 경우 hermes setup --portal을 실행하여 한 번의 명령으로 로그인하고 Nous를 공급자로 설정하세요. hermes portal info로 연결된 내용을 확인할 수 있습니다. Portal 구독자는 토큰 과금 공급자에 대해 10% 할인도 받습니다.

`model:` 스키마에 대한 참고 사항

새로 설치한 경우 번들 기본 구성에는 model: ""(아직 구성되지 않음을 의미하는 빈 문자열 센티널)이 있습니다. hermes setup 또는 hermes model을 처음 실행하면 해당 키가 provider, default, base_url, api_mode 하위 키가 있는 매핑으로 제자리에서 업그레이드됩니다. config.yaml에 빈 문자열이 보이면 hermes model을 실행하거나 대시보드에서 Change를 클릭하면 Hermes가 사전 형식을 작성해 줍니다.

스마트 모델 디스패칭은 잡일 처리에 플래그십 가격을 지불하지 않아도 된다는 뜻입니다. 메인 모델은 무거운 사고를 처리하고, 더 작고 저렴한 모델은 일상적인 작업을 처리합니다. 효율적이고 비용 효과적이며, 에이전트 워크플로우의 모든 부분을 세밀하게 제어할 수 있습니다.