Mac에서 로컬 LLM 실행하기

Mac에서 Hermes Agent를 실행 중이고, 이제 로컬 LLM의 세계로 뛰어들 준비가 되셨군요. 훌륭한 선택입니다! 하지만 채팅을 시작하기 전에 Hermes가 모델을 어떻게 처리하는지 이해해야 합니다. 주방을 차린다고 생각해보세요. 헤드 셰프가 있고, 특정 작업을 담당하는 전문 보조 요리사들이 있습니다.

두 가지 유형의 모델 슬롯

Hermes는 두 가지 종류의 모델 슬롯을 사용합니다:

메인 모델 — 이건 헤드 셰프입니다. 모든 사용자 메시지, 모든 도구 호출 루프, 모든 스트리밍 응답이 이 모델을 거쳐갑니다. 전체 운영의 두뇌입니다.
보조 모델 — 이건 서브 셰프들입니다. 컨텍스트 압축, 비전(이미지 분석), 웹페이지 요약, 승인 점수 산정, MCP 도구 라우팅, 세션 제목 생성, 스킬 검색 같은 작은 보조 작업을 처리합니다. 각각 자체 슬롯이 있으며 독립적으로 재정의할 수 있습니다.

시작하기: 가장 빠른 방법

Hermes를 처음 사용한다면, 모델을 구성하는 가장 빠른 방법은 Nous Portal을 이용하는 것입니다. 하나의 구독으로 300개 이상의 모델에 접근할 수 있습니다. 새로 설치한 경우 다음 명령만 실행하면 됩니다:

hermes setup --portal

이 명령 하나로 로그인하고 Nous를 공급자로 설정합니다. hermes portal info로 연결 상태를 확인할 수 있습니다. 게다가 포털 구독자는 토큰 기반 과금 공급자에서 10% 할인을 받을 수 있습니다. 괜찮죠?

모델 페이지

대시보드를 열고 사이드바에서 Models을 클릭하세요. 두 개의 섹션이 표시됩니다:

Model Settings — 슬롯에 모델을 할당하는 상단 패널.
Usage analytics — 세션을 실행한 모든 모델을 토큰 수, 비용, 기능 배지와 함께 보여주는 순위 카드.

맨 위 카드가 Model Settings 패널입니다. 메인 행은 에이전트가 새 세션에서 실행할 모델을 보여줍니다. Change를 클릭하면 선택기가 열립니다.

메인 모델 설정하기

선택기에는 두 개의 열이 있습니다:

왼쪽 — 인증된 공급자. 설정한 공급자(API 키 설정, OAuth 인증, 또는 커스텀 엔드포인트로 정의)만 여기에 표시됩니다. 공급자가 없다면 Keys로 이동해 자격 증명을 추가하세요.
오른쪽 — 선택한 공급자의 선별된 모델 목록. Hermes가 추천하는 에이전틱 모델들로, 원시 /models 덤프가 아닙니다(OpenRouter의 경우 TTS, 이미지 생성기, 리랭커를 포함해 400개 이상의 모델이 있습니다).

필터 상자에 입력해 공급자 이름, 슬러그 또는 모델 ID로 좁힐 수 있습니다. 모델을 선택하고 Switch를 누르면 Hermes가 ~/.hermes/config.yaml에 기록합니다. 이 변경은 새 세션에만 적용됩니다 — 이미 열려 있는 채팅 탭은 시작할 때의 모델을 계속 사용합니다. 현재 채팅을 즉시 전환하려면 그 안에서 /model 슬래시 명령을 사용하세요.

세션 중 전환: 주의사항

활성 세션 내에서 모델을 전환하면, Hermes는 다음 메시지가 새 모델의 윈도우에 대해 사전 컨텍스트 압축을 실행할지 추정합니다. 세션이 이미 해당 모델의 압축 임계값에 가깝거나 초과했다면 경고가 표시됩니다. 전환은 즉시 적용되지만, 압축은 전환 후 첫 번째 사용자 메시지에서 실행됩니다.

중요: 세션 중 전환은 프롬프트 캐시를 초기화합니다. 프롬프트 캐시는 요청을 처리하는 모델에 키가 지정되므로, 대화 중 모델 변경은 다음 메시지가 캐시된 할인율(~75–90% 할인) 대신 전체 입력 토큰 가격으로 전체 대화를 다시 읽는다는 뜻입니다. 긴 세션에서는 이 일회성 재읽기가 두 모델 간의 토큰별 차이보다 훨씬 클 수 있습니다. 필요할 때 전환하되, 대화 초반에 하는 것이 좋습니다.

무인 데이터 학습 등급

muse-spark-1.2-contributor 같은 일부 모델은 공급자가 사용자의 프롬프트와 완성 결과를 학습에 사용할 수 있기 때문에 할인됩니다. 대화형 모델 선택에서는 항상 확인 프롬프트가 표시됩니다. 하지만 비대화형 시작 경로(예: Kanban 워커, cron 에이전트)는 질문을 할 수 없기 때문에 기본적으로 차단됩니다.

무인 워크로드의 데이터 학습이 허용 가능하다면 영구 확인을 기록하세요:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes는 여전히 모든 무인 시작 시 전체 데이터 정책 경고를 출력하므로 워커 로그에 감사 추적이 남습니다. 해제하려면:

hermes config unset security.allow_data_training_tiers_noninteractive

보조 모델 설정하기

Show auxiliary를 클릭하면 11개의 작업 슬롯이 표시됩니다. 모든 보조 작업은 기본적으로 auto로 설정됩니다 — 즉 Hermes가 해당 작업에도 메인 모델을 사용하려고 시도합니다. 그 경로를 사용할 수 없으면 auto는 작업별 폴백 체인, 그다음 메인 폴백 체인, 마지막으로 Hermes의 내장 보조 모델 탐색 체인을 따릅니다. 보조 작업에 더 저렴하거나 빠른 모델을 원할 때 특정 작업을 재정의하세요.

`model:` 스키마에 대한 참고사항

새로 설치한 경우 기본 제공 설정에는 model: ""(아직 구성되지 않음을 의미하는 빈 문자열 센티널)이 있습니다. hermes setup 또는 hermes model을 처음 실행하면 해당 키가 provider, default, base_url, api_mode 하위 키가 있는 매핑으로 제자리에서 업그레이드됩니다. config.yaml에서 빈 문자열을 발견하면 hermes model을 실행하거나(또는 대시보드에서 Change 클릭) Hermes가 딕셔너리 형식을 작성해줍니다.

이제 끝입니다! 이제 프로처럼 모델을 구성할 준비가 되었습니다. 즐거운 채팅 되세요!