Hermes를 Ollama와 함께 무료로 실행하기

Hermes Agent를 똑똑한 비서라고 생각해 보세요. 그리고 Ollama는 그 비서의 무료 로컬 두뇌입니다. 둘이 합치면 클라우드 AI에 한 푼도 쓰지 않고도 강력한 조합이 완성됩니다.

준비물

• Hermes Agent (비서 프레임워크)
• Ollama (컴퓨터에서 AI 모델을 실행)
• Docker (선택 사항이지만, 설정이 훨씬 쉬워짐)

1단계: Ollama 설치

먼저 ollama.com에서 Ollama를 다운로드하여 설치합니다. 그다음 모델을 하나 받아옵니다:

ollama pull llama3.2

이 명령어는 Hermes와 잘 작동하는 작고 빠른 모델을 다운로드합니다.

2단계: Ollama 실행

Hermes가 Ollama와 통신할 수 있도록 서버 모드로 실행합니다:

ollama serve

기본적으로 Ollama는 11434 포트에서 수신 대기합니다. 이 터미널 창은 계속 열어 두세요.

3단계: Hermes를 Ollama에 연결

Docker가 아닌 컴퓨터에서 직접 Hermes를 실행하는 경우, ~/.hermes/config.yaml에 설정 파일을 만듭니다:

model:
  provider: custom
  model: llama3.2
  base_url: http://127.0.0.1:11434/v1
  api_key: "none"

중요: model 이름은 앞서 받아온 모델 이름과 정확히 일치해야 합니다.

4단계: Hermes 실행

이제 Hermes를 시작합니다:

docker run -d \
  --name hermes \
  --network host \
  -v ~/.hermes:/opt/data \
  nousresearch/hermes-agent gateway run

참고: Linux에서 --network host를 사용하면 Hermes가 127.0.0.1에서 Ollama를 찾을 수 있습니다. Mac/Windows에서는 host.docker.internal:11434를 대신 사용하세요.

5단계: 테스트

Hermes가 Ollama에 연결할 수 있는지 확인합니다:

docker exec hermes curl -s http://127.0.0.1:11434/v1/models

llama3.2가 포함된 목록이 보여야 합니다. 보이지 않는다면 Ollama가 아직 실행 중인지 다시 확인하세요.

문제 해결 팁

• 연결이 안 되나요? Ollama가 127.0.0.1뿐만 아니라 0.0.0.0에서도 수신 대기 중인지 확인하세요. 필요하면 OLLAMA_HOST=0.0.0.0 ollama serve로 실행하세요.
• 모델을 찾을 수 없나요? 설정 파일의 모델 이름이 받아온 모델 이름과 정확히 일치해야 합니다.
• 포트 충돌이 있나요? OLLAMA_PORT=11435로 Ollama의 포트를 변경하고 설정 파일도 업데이트하세요.

왜 이 조합이 좋을까?

• 평생 무료 — API 요금 없음
• 프라이버시 보호 — 데이터가 내 컴퓨터에만 저장됨
• 오프라인 지원 — 인터넷 없이도 작동

마지막 팁

llama3.2(3B) 같은 작은 모델로 시작해서 모든 것이 잘 작동하는지 테스트해 보세요. 익숙해지면 qwen2.5:7b 같은 더 큰 모델로 업그레이드하여 더 나은 응답을 얻을 수 있습니다. 설정 파일의 model 이름도 잊지 말고 업데이트하세요.

이제 Hermes와 Ollama로 완전히 로컬에서 작동하는 무료 AI 비서를 갖추게 되었습니다. 즐겁게 만들어 보세요!

---