Bài 13: Cách Chọn Đúng Mô Hình AI Trong Hermes

Chào mừng bạn quay trở lại với chuỗi bài về Hermes Agent! Trong bài hướng dẫn này, chúng ta sẽ đi sâu vào một trong những quyết định quan trọng nhất mà bạn sẽ phải đưa ra: chọn đúng mô hình AI. Dù bạn là người mới bắt đầu hay đã dày dạn kinh nghiệm, hiểu cách Hermes xử lý các mô hình sẽ giúp bạn đạt được hiệu suất và giá trị tốt nhất.

Hai Loại Vị Trí Mô Hình

Hermes sử dụng hai loại vị trí mô hình:

Mô hình chính — Đây là “bộ não” của agent. Mọi tin nhắn của người dùng, mọi lệnh gọi công cụ, và mọi phản hồi được truyền trực tiếp đều đi qua mô hình này. Đây là con ngựa thồ.
Mô hình phụ trợ — Đây là những tác vụ phụ nhỏ hơn mà agent của bạn giao phó. Hãy nghĩ về chúng như những trợ lý chuyên biệt cho các tác vụ như nén ngữ cảnh, phân tích hình ảnh, tóm tắt trang web, chấm điểm phê duyệt, định tuyến công cụ MCP, tạo tiêu đề phiên, và tìm kiếm kỹ năng. Mỗi tác vụ có một vị trí riêng và có thể được ghi đè độc lập.

Con Đường Nhanh Nhất: Nous Portal

Trước khi đi vào chi tiết, đây là một mẹo chuyên nghiệp. Nous Portal cho phép bạn truy cập hơn 300 mô hình chỉ với một gói đăng ký. Trên bản cài đặt mới, chỉ cần chạy:

hermes setup --portal

Lệnh này sẽ đăng nhập và đặt Nous làm nhà cung cấp của bạn chỉ trong một thao tác. Bạn có thể kiểm tra những gì đã được kết nối bằng hermes portal info. Thêm vào đó, người đăng ký Portal được giảm 10% cho các nhà cung cấp tính phí theo token. Không tệ chút nào!

Hiểu Về Lược Đồ `model:`

Trên bản cài đặt hoàn toàn mới, cấu hình của bạn có model: "" (một chuỗi rỗng nghĩa là “chưa được cấu hình”). Lần đầu tiên bạn chạy hermes setup hoặc hermes model, khóa đó sẽ được nâng cấp thành một ánh xạ với các khóa con provider, default, base_url, và api_mode. Nếu bạn thấy một chuỗi rỗng trong config.yaml, chỉ cần chạy hermes model (hoặc nhấp vào Change trong dashboard) và Hermes sẽ tự động sửa nó cho bạn.

Trang Models

Mở dashboard và nhấp vào Models trong thanh bên. Bạn sẽ thấy hai phần:

Model Settings — bảng điều khiển phía trên nơi bạn gán các mô hình vào các vị trí.
Usage analytics — các thẻ xếp hạng hiển thị mọi mô hình đã chạy một phiên, kèm theo số token, chi phí và huy hiệu khả năng.

Thiết Lập Mô Hình Chính

Nhấp vào Change trên hàng Main model. Bộ chọn có hai cột:

Bên trái — các nhà cung cấp đã xác thực. Chỉ những nhà cung cấp bạn đã thiết lập (API key, OAuth, hoặc endpoint tùy chỉnh) mới hiển thị ở đây. Nếu thiếu một nhà cung cấp, hãy đến Keys và thêm thông tin xác thực của nó.
Bên phải — danh sách mô hình được tuyển chọn cho nhà cung cấp đã chọn. Đây là những mô hình agentic mà Hermes khuyên dùng, không phải danh sách /models thô (trên OpenRouter bao gồm hơn 400 mô hình, kể cả TTS và trình tạo hình ảnh!).

Chọn một mô hình, nhấn Switch, và Hermes sẽ ghi nó vào ~/.hermes/config.yaml. Thao tác này chỉ áp dụng cho các phiên mới — bất kỳ tab trò chuyện nào bạn đang mở sẽ tiếp tục chạy với mô hình mà nó đã bắt đầu. Để chuyển đổi nhanh trong cuộc trò chuyện hiện tại, hãy sử dụng lệnh gạch chéo /model bên trong nó.

Chuyển Đổi Giữa Phiên và Cảnh Báo Ngữ Cảnh

Khi bạn chuyển đổi mô hình trong một phiên đang hoạt động, Hermes ước tính liệu tin nhắn tiếp theo của bạn có cần chạy nén ngữ cảnh trước so với cửa sổ của mô hình mới hay không. Nếu phiên đã gần hoặc vượt quá ngưỡng nén của mô hình đó, bạn sẽ nhận được cảnh báo. Việc chuyển đổi vẫn được áp dụng ngay lập tức; quá trình nén sẽ chạy trên tin nhắn đầu tiên của người dùng sau khi chuyển đổi.

Quan trọng: Việc chuyển đổi mô hình giữa phiên sẽ đặt lại bộ nhớ đệm lời nhắc. Bộ nhớ đệm lời nhắc được gắn với mô hình phục vụ yêu cầu, vì vậy bất kỳ thay đổi mô hình nào giữa cuộc trò chuyện đều khiến tin nhắn tiếp theo phải đọc lại toàn bộ cuộc trò chuyện với giá token đầu vào đầy đủ thay vì mức giá đã giảm (~75–90%) của bộ nhớ đệm. Trong một phiên dài, việc đọc lại một lần này có thể lớn hơn nhiều so với chênh lệch token giữa hai mô hình. Hãy chuyển đổi khi cần, nhưng tốt nhất nên chuyển sớm trong cuộc trò chuyện hoặc ngay sau khi bắt đầu một phiên mới.

Các Tầng Huấn Luyện Dữ Liệu Không Giám Sát

Một số mô hình (như muse-spark-1.2-contributor) được giảm giá vì nhà cung cấp có thể huấn luyện trên dữ liệu của bạn. Việc chọn mô hình tương tác luôn hiển thị lời nhắc xác nhận. Nhưng các đường khởi động không tương tác như Kanban workers và cron agents sẽ tự động thất bại vì chúng không thể đặt câu hỏi đó.

Nếu việc huấn luyện trên dữ liệu của khối lượng công việc không giám sát là chấp nhận được, hãy ghi nhận một xác nhận vĩnh viễn:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes vẫn in cảnh báo đầy đủ về chính sách dữ liệu trên mỗi lần khởi động không giám sát, vì vậy nhật ký worker vẫn giữ lại dấu vết kiểm toán. Thu hồi nó bằng:

hermes config unset security.allow_data_training_tiers_noninteractive

Thiết Lập Các Mô Hình Phụ Trợ

Nhấp vào Show auxiliary để hiển thị 11 vị trí tác vụ. Mọi tác vụ phụ trợ đều mặc định là auto — nghĩa là Hermes cũng sẽ thử dùng mô hình chính của bạn cho tác vụ đó. Nếu đường dẫn đó không khả dụng hoặc gặp lỗi kiểu quá tải, auto sẽ theo bất kỳ chuỗi dự phòng cụ thể nào của tác vụ, sau đó là chuỗi dự phòng chính, rồi đến chuỗi khám phá phụ trợ tích hợp của Hermes. Ghi đè một tác vụ cụ thể khi bạn muốn một mô hình rẻ hơn hoặc nhanh hơn cho một công việc phụ.

Tổng Kết

Việc chọn đúng mô hình trong Hermes là tất cả về việc hiểu khối lượng công việc của bạn. Sử dụng mô hình chính cho những suy nghĩ nặng ký, và đừng ngại giao phó các công việc phụ cho các mô hình phụ trợ. Bắt đầu với auto và ghi đè khi bạn đã hiểu rõ hơn. Và hãy nhớ — hãy chuyển đổi mô hình sớm trong các cuộc trò chuyện để tránh việc đặt lại bộ nhớ đệm!

Chúc bạn mô hình hóa vui vẻ! 🚀