Nous Tool Gateway — 300개 이상의 모델

Nous Tool Gateway — 300개 이상의 모델

안녕하세요, 에이전트 빌더 여러분! 👋

지난번에는 Nous Tool Gateway와 하나의 구독으로 300개 이상의 모델을 사용할 수 있는 방법에 대해 이야기했죠. 오늘은 실전 편으로 넘어가서, Hermes에서 그 모델들을 실제로 어떻게 설정하는지 자세히 알아보겠습니다.

이렇게 생각해 보세요. 여러분의 에이전트는 뇌(메인 모델)와 여러 개의 작은 도우미(보조 모델)를 가지고 있습니다. 뇌는 모든 사고를 담당합니다—모든 메시지, 모든 도구 호출, 모든 응답이 여기서 처리되죠. 도우미들은 웹 페이지 요약, 이미지 분석, 긴 대화 압축 같은 보조 작업을 처리합니다.

이제 둘 다 설정하는 방법을 쉽게 풀어보겠습니다.

가장 빠른 방법: Nous Portal

새로 설치한 상태라면, 아래 한 줄이면 모든 게 끝납니다:

hermes setup --portal

이 명령 하나로 Nous Portal에 로그인하고 프로바이더로 설정까지 완료됩니다. 뭐가 연결되어 있는지 확인하고 싶다면:

hermes portal info

참고로 좋은 소식 하나! Portal 구독자는 토큰 과금 프로바이더에서 10% 할인을 받을 수 있습니다. 프로바이더를 혼합해서 쓰는 분이라면 실제로 꽤 절약되는 금액이에요.

model: 설정에 대한 간단한 참고사항

새로 설치한 직후에는 설정 파일에 model: ""—즉 “아직 설정 안 됨”을 의미하는 빈 문자열이 들어 있습니다. hermes setup이나 hermes model을 처음 실행하면, 이 키는 provider, default, base_url, api_mode를 포함한 제대로 된 매핑으로 자동 업그레이드됩니다.

혹시 그 빈 문자열을 다시 보게 된다면, hermes model을 실행하거나(또는 대시보드에서 Change 버튼을 클릭) Hermes가 알아서 고쳐줄 거예요.

모델 페이지

대시보드를 열고 사이드바에서 Models를 클릭하세요. 두 개의 섹션이 보일 겁니다:

1. Model Settings — 슬롯에 모델을 할당하는 곳
2. Usage analytics — 세션을 실행한 모든 모델을 토큰 수, 비용, 기능 배지와 함께 순위로 보여주는 카드

맨 위 카드가 Model Settings 패널입니다. 메인 행에는 새 세션에서 에이전트가 사용할 모델이 표시됩니다. Change를 클릭하면 선택기가 열립니다.

메인 모델 설정하기

선택기에는 두 개의 열이 있습니다:

• 왼쪽 — 인증된 프로바이더 목록(API 키나 OAuth로 설정한 것만 표시)
• 오른쪽 — 선택한 프로바이더의 큐레이션된 모델 목록

여기서 멋진 점: Hermes는 원시 /models 덤프를 보여주지 않습니다(OpenRouter의 경우 TTS나 이미지 생성 모델을 포함해 400개 이상이 있거든요). 대신 에이전트용 모델—즉 추론과 도구 사용에 실제로 뛰어난 모델들만 엄선해서 보여줍니다.

필터 상자에 입력해서 범위를 좁히고, 모델을 선택한 다음 Switch를 누르면 Hermes가 ~/.hermes/config.yaml에 기록합니다.

중요: 이 설정은 새 세션에만 적용됩니다. 열려 있는 채팅 탭은 시작할 때 사용한 모델을 계속 유지해요. 현재 채팅을 즉시 바꾸려면 그 안에서 /model 슬래시 명령어를 사용하세요.

세션 중간 전환: 주의사항

대화 중간에 모델을 전환한다고요? Hermes는 다음 메시지가 새 모델의 컨텍스트 창에 맞춰 컨텍스트 압축을 유발할 수 있다면 경고를 표시합니다. 전환 자체는 즉시 적용되지만, 압축은 전환 후 첫 메시지에서 실행됩니다.

여기서 더 큰 함정이 하나 있어요: 프롬프트 캐시는 모델별로 키가 지정됩니다. 따라서 대화 중간에 전환하면, 다음 메시지가 캐시된 할인율(약 75~90% 할인) 대신 전체 대화를 정가로 다시 읽게 됩니다. 긴 세션에서는 이 일회성 재읽기가 모델 간 토큰 단가 차이보다 더 큰 비용이 될 수 있어요.

프로 팁: 모델 전환은 대화 초반에 하거나, 새 세션을 시작한 직후에 하세요.

무인 데이터 학습 등급

일부 모델(예: muse-spark-1.2-contributor)은 공급업체가 데이터를 학습에 사용할 수 있기 때문에 할인된 가격으로 제공됩니다. 대화형 모델 선택에서는 항상 확인 프롬프트가 표시됩니다. 하지만 무인 워크로드(칸반 워커, 크론 에이전트)에서는 Hermes가 질문할 수 없기 때문에 안전하게 차단(fail closed)합니다.

괜찮다면, 영구 승인을 기록해 두세요:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes는 여전히 모든 시작 시 데이터 정책 경고를 출력하므로, 로그에 감사 추적이 남습니다. 해제하려면:

hermes config unset security.allow_data_training_tiers_noninteractive

보조 모델 설정하기

Show auxiliary를 클릭하면 11개의 작업 슬롯이 표시됩니다. 모든 보조 작업은 기본적으로 auto로 설정되어 있습니다—즉 Hermes가 해당 작업에도 메인 모델을 사용하려고 시도한다는 뜻이에요. 실패하면 폴백 체인, 그다음 메인 폴백 프로바이더, 마지막으로 Hermes의 내장 검색 순서로 진행됩니다.

보조 작업에 더 저렴하거나 빠른 모델을 원한다면 특정 작업을 재정의하세요. 예를 들어, 세션 제목 생성에는 작은 모델을, 비전 작업에는 최고 성능 모델을 사용하고 싶을 수 있습니다.

마무리

이것으로 모델 설정 투어를 마칩니다! Nous Portal의 300개 이상의 모델을 사용하든, 직접 프로바이더를 혼합하든, Hermes는 무엇이 생각하고 무엇이 도와주는지에 대해 세밀한 제어를 제공합니다.

다음에는 보조 모델 모범 사례에 대해 자세히 알아보겠습니다—어떤 작업이 작은 모델에 적합하고, 어떤 작업이 정말 큰 뇌를 필요로 하는지 말이죠. 기대해 주세요! 🚀