Chạy Hermes với Ollama miễn phí | Easy Understand Hermes Agent

Hãy nghĩ về Hermes Agent như một trợ lý thông minh, còn Ollama là bộ não cục bộ miễn phí của nó — cùng nhau, chúng tạo nên một bộ đôi mạnh mẽ mà không tốn một xu nào cho AI đám mây.

Bạn Cần Chuẩn Bị Gì

Hermes Agent (khung trợ lý)
Ollama (chạy các mô hình AI trên máy tính của bạn)
Docker (không bắt buộc, nhưng giúp việc thiết lập dễ dàng hơn)

Bước 1: Cài Đặt Ollama

Đầu tiên, hãy tải và cài đặt Ollama từ ollama.com. Sau đó, tải một mô hình về:

ollama pull llama3.2

Lệnh này sẽ tải về một mô hình nhỏ, nhanh và hoạt động rất tốt với Hermes.

Bước 2: Chạy Ollama

Khởi động Ollama như một máy chủ để Hermes có thể kết nối tới:

ollama serve

Mặc định, Ollama lắng nghe trên cổng 11434. Hãy giữ cửa sổ terminal này mở.

Bước 3: Kết Nối Hermes với Ollama

Nếu bạn chạy Hermes trên máy tính của mình (không phải trong Docker), hãy tạo một tệp cấu hình tại ~/.hermes/config.yaml:

model:
  provider: custom
  model: llama3.2
  base_url: http://127.0.0.1:11434/v1
  api_key: "none"

Quan trọng: Tên model phải khớp chính xác với tên mô hình bạn đã tải về ở bước trước.

Bước 4: Chạy Hermes

Bây giờ, hãy khởi động Hermes:

docker run -d \
  --name hermes \
  --network host \
  -v ~/.hermes:/opt/data \
  nousresearch/hermes-agent gateway run

Lưu ý: Sử dụng --network host trên Linux cho phép Hermes nhìn thấy Ollama tại 127.0.0.1. Trên Mac/Windows, hãy dùng host.docker.internal:11434 để thay thế.

Bước 5: Kiểm Tra

Hãy kiểm tra xem Hermes có thể kết nối tới Ollama không:

docker exec hermes curl -s http://127.0.0.1:11434/v1/models

Bạn sẽ thấy một danh sách có chứa llama3.2. Nếu không, hãy kiểm tra lại xem Ollama có đang chạy hay không.

Mẹo Khắc Phục Sự Cố

Không kết nối được? Hãy chắc chắn rằng Ollama đang lắng nghe trên 0.0.0.0, không chỉ riêng 127.0.0.1. Chạy lệnh OLLAMA_HOST=0.0.0.0 ollama serve nếu cần.
Không tìm thấy mô hình? Tên trong tệp cấu hình của bạn phải khớp chính xác với tên bạn đã tải về.
Xung đột cổng? Thay đổi cổng của Ollama bằng lệnh OLLAMA_PORT=11435 và cập nhật lại tệp cấu hình.

Vì Sao Điều Này Tuyệt Vời

Miễn phí vĩnh viễn — không có hóa đơn API
Riêng tư — dữ liệu của bạn nằm trên máy tính của bạn
Hoạt động ngoại tuyến — hoạt động tốt ngay cả khi không có internet

Mẹo Cuối Cùng

Hãy bắt đầu với một mô hình nhỏ như llama3.2 (3B) để kiểm tra mọi thứ hoạt động. Khi đã quen, hãy thử các mô hình lớn hơn như qwen2.5:7b để có câu trả lời tốt hơn — chỉ cần nhớ cập nhật tên model trong tệp cấu hình của bạn.

Giờ đây, bạn đã có một trợ lý AI hoàn toàn cục bộ, miễn phí chạy cùng Hermes và Ollama. Chúc bạn xây dựng vui vẻ!