Fallback Providers — AI Never Down | Easy Understand Hermes Agent

폴백 프로바이더 — AI는 절대 다운되지 않는다

AI 어시스턴트와 대화를 나누다가 갑자기 응답이 멈춘 적 있으신가요? 프로바이더가 장애를 겪거나 모델이 과부하 상태일 수도 있습니다. Hermes Agent를 사용하면 그런 일은 과거의 일이 됩니다. 폴백 프로바이더를 차의 스페어 타이어라고 생각해보세요. 평소엔 쓸 일이 없길 바라지만, 막상 필요할 때는 하루를 구해주는 존재입니다.

폴백 프로바이더란 무엇인가?

간단히 말해, 폴백 프로바이더는 기본 모델이 실패했을 때 Hermes가 자동으로 전환하는 백업 AI 모델입니다. 플랜 B, C, D가 준비되어 있는 셈이죠. 메인 모델이 다운되면 Hermes는 당황하지 않고 조용히 다음 사용 가능한 옵션으로 전환합니다.

작동 방식

Hermes는 두 가지 종류의 모델 슬롯을 사용합니다:

메인 모델 — 모든 메시지, 도구 호출, 응답을 처리하는 “두뇌” 역할
보조 모델 — 웹 페이지 요약, 이미지 분석, 긴 대화 압축 같은 특정 작업을 처리하는 작은 도우미들

메인 모델을 설정할 때 폴백 체인도 함께 정의할 수 있습니다. 기본 모델이 실패하면 Hermes는 자동으로 체인의 다음 모델을 시도합니다. 이 체인을 fallback_providers / fallback_model 체인이라고 합니다.

폴백 체인 설정하기

가장 쉬운 시작 방법은 Nous Portal을 이용하는 것입니다. 새로 설치한 경우 다음 명령어를 실행하세요:

hermes setup --portal

이 한 번의 명령으로 로그인과 Nous 프로바이더 설정이 완료됩니다. 연결 상태를 확인하려면:

hermes portal info

Portal 구독자는 토큰 과금 프로바이더 10% 할인도 받을 수 있습니다—멋진 보너스죠!

모델 페이지

대시보드를 열고 사이드바에서 Models를 클릭하세요. 두 개의 섹션이 보입니다:

Model Settings — 슬롯에 모델을 할당하는 곳
Usage analytics — 세션을 실행한 모든 모델의 토큰 수와 비용을 보여주는 카드

맨 위 카드가 Model Settings 패널입니다. Main model 행에서 Change를 클릭하면 선택기가 열립니다.

메인 모델 선택하기

선택기에는 두 개의 열이 있습니다:

왼쪽 — 이미 인증한 프로바이더 (API 키 설정, OAuth, 또는 커스텀 엔드포인트)
오른쪽 — 해당 프로바이더에 대한 추천 에이전틱 모델 큐레이션 목록

필터 박스에 입력해 범위를 좁힐 수 있습니다. 모델을 선택하고 Switch를 누르면 Hermes가 설정 파일에 기록합니다.

중요: 이 변경은 새 세션에만 적용됩니다. 현재 대화를 즉시 전환하려면 대화 내에서 /model 슬래시 명령어를 사용하세요.

세션 중 전환과 컨텍스트 경고

대화 중간에 모델을 전환하면 Hermes는 다음 메시지에 컨텍스트 압축이 필요한지 확인합니다. 새 모델의 한도에 가까워지면 경고가 표시되지만, 전환 자체는 즉시 적용됩니다.

참고: 세션 중 모델을 전환하면 프롬프트 캐시가 초기화됩니다. 즉, 다음 메시지가 할인된 캐시 요금 대신 전체 대화를 정가로 다시 읽게 됩니다. 긴 세션에서는 이 일회성 비용이 상당할 수 있습니다. 그러니 깊은 논의의 중간이 아니라 대화 초반에 전환하세요.

보조 모델: 사이드킥

Show auxiliary를 클릭하면 11개의 작업 슬롯이 표시됩니다. 이 슬롯은 다음을 처리합니다:

컨텍스트 압축
비전 (이미지 분석)
웹 페이지 요약
승인 점수 계산
MCP 도구 라우팅
세션 제목 생성
스킬 검색

모든 보조 작업은 기본적으로 auto로 설정됩니다—즉, Hermes가 해당 작업에도 메인 모델을 시도합니다. 실패하면 작업별 폴백 체인, 그다음 메인 폴백 체인, 마지막으로 Hermes 내장 탐색을 따릅니다.

사이드 작업에 더 저렴하거나 빠른 모델을 원할 때 특정 작업을 재정의하세요. 예를 들어, 강력한 메인 모델은 사고에 사용하면서 웹 페이지 요약에는 작고 빠른 모델을 사용할 수 있습니다.

무인 데이터 학습 등급

일부 할인 모델은 공급업체가 사용자 데이터를 학습에 사용할 수 있게 합니다. 대화형 세션에서는 항상 확인 프롬프트가 표시됩니다. 하지만 무인 워크로드(예: cron 에이전트)의 경우 Hermes는 안전하게 차단합니다—명시적으로 허용하지 않는 한 해당 모델을 사용하지 않습니다.

활성화하려면:

hermes config set security.allow_data_training_tiers_noninteractive true

언제든지 해제하려면:

hermes config unset security.allow_data_training_tiers_noninteractive

결론

폴백 프로바이더 덕분에 AI는 절대 다운되지 않습니다. 프로바이더 장애, 속도 제한, 또는 모델이 그냥 안 좋은 날을 보내는 경우에도 Hermes가 대비하고 있습니다. 체인을 설정하고, 보조 모델을 구성하고, 배후에서 무슨 일이 일어나든 끊김 없는 AI 대화를 즐기세요.