Provider Routing — Smart Model Dispatching | Easy Understand Hermes Agent

Provider Routing — Phân Phối Mô Hình Thông Minh

Nếu bạn từng cảm thấy AI agent của mình đang dùng dao mổ trâu để cắt tiết gà, thì bạn không đơn độc đâu. Hầu hết các agent đều chạy mọi thứ qua một mô hình lớn, mạnh mẽ duy nhất — kể cả những việc vụn vặt chẳng cần đến trí tuệ nhiều. Hermes thay đổi điều đó bằng một hệ thống hai tầng thông minh: một mô hình chính để suy nghĩ, và các mô hình phụ trợ cho những việc nhỏ.

Cứ hình dung như một nhà bếp nhà hàng vậy. Bạn có đầu bếp trưởng (mô hình chính) lo mọi đơn hàng, và rồi bạn có các trạm chuyên biệt — một đầu bếp bánh ngọt, một người nướng BBQ, một người sơ chế — mỗi người một việc. Hermes hoạt động đúng như thế.

Hai Loại Vị Trí Mô Hình

Hermes dùng hai loại vị trí mô hình:

Mô hình chính — bộ não. Mọi tin nhắn người dùng, mọi vòng lặp gọi công cụ, mọi phản hồi phát trực tiếp đều chảy qua mô hình này.
Mô hình phụ trợ — những trợ thủ đắc lực. Chúng lo việc nén ngữ cảnh, thị giác (phân tích hình ảnh), tóm tắt trang web, chấm điểm phê duyệt, định tuyến công cụ MCP, tạo tiêu đề phiên và tìm kiếm kỹ năng. Mỗi mô hình có một vị trí riêng và có thể được ghi đè một cách độc lập.

Phần hay nhất? Bạn có thể cấu hình tất cả những thứ này ngay từ bảng điều khiển.

Trang Models

Mở bảng điều khiển và nhấp vào Models trong thanh bên. Bạn sẽ thấy hai phần:

Model Settings — bảng phía trên nơi bạn gán mô hình vào các vị trí.
Usage analytics — các thẻ xếp hạng hiển thị mọi mô hình đã chạy phiên làm việc, kèm số token, chi phí và huy hiệu năng lực.

Thẻ trên cùng là bảng Model Settings. Hàng chính luôn hiển thị mô hình mà agent sẽ khởi động cho các phiên mới. Nhấp Change để mở trình chọn.

Thiết Lập Mô Hình Chính

Trình chọn có hai cột:

Bên trái — các nhà cung cấp đã xác thực. Chỉ những nhà cung cấp bạn đã thiết lập (đặt API key, OAuth, hoặc định nghĩa như một endpoint tùy chỉnh) mới xuất hiện ở đây. Nếu thiếu nhà cung cấp nào, hãy đến Keys và thêm thông tin xác thực của nó.
Bên phải — danh sách mô hình được tuyển chọn cho nhà cung cấp đã chọn. Đây là những mô hình agentic mà Hermes khuyên dùng, không phải danh sách /models thô (trên OpenRouter có hơn 400 mô hình bao gồm cả TTS, trình tạo ảnh và reranker).

Gõ vào ô lọc để thu hẹp theo tên nhà cung cấp, slug hoặc ID mô hình.

Chọn một mô hình, nhấn Switch, và Hermes sẽ ghi nó vào ~/.hermes/config.yaml trong phần model. Điều này chỉ áp dụng cho phiên mới — bất kỳ tab trò chuyện nào bạn đang mở vẫn tiếp tục chạy mô hình mà nó đã khởi động. Để chuyển đổi nóng cuộc trò chuyện hiện tại, hãy dùng lệnh /model bên trong nó.

Chuyển Đổi Giữa Phiên và Cảnh Báo Ngữ Cảnh

Khi bạn chuyển mô hình trong một phiên đang hoạt động, Hermes ước tính liệu tin nhắn tiếp theo của bạn có chạy nén ngữ cảnh preflight với cửa sổ của mô hình mới hay không. Nếu phiên đã gần hoặc vượt ngưỡng nén của mô hình đó, phản hồi chuyển đổi sẽ kèm theo cảnh báo. Việc chuyển đổi vẫn được áp dụng ngay lập tức; quá trình nén chạy trên tin nhắn người dùng đầu tiên sau khi chuyển.

Quan trọng: Chuyển đổi giữa phiên sẽ đặt lại bộ nhớ đệm prompt. Bộ nhớ đệm prompt được khóa theo mô hình phục vụ yêu cầu, vì vậy bất kỳ thay đổi mô hình nào giữa cuộc trò chuyện đều khiến tin nhắn tiếp theo phải đọc lại toàn bộ cuộc trò chuyện với giá token đầu vào đầy đủ thay vì mức chiết khấu (~75–90%) đã lưu trong bộ nhớ đệm. Trong một phiên dài, việc đọc lại một lần này có thể lấn át cả sự khác biệt về giá mỗi token giữa hai mô hình. Hãy chuyển khi cần, nhưng tốt nhất nên chuyển sớm trong cuộc trò chuyện.

Các Tầng Dữ Liệu Đào Tạo Không Giám Sát

Một số mô hình được giảm giá vì nhà cung cấp có thể đào tạo trên prompt và phản hồi của bạn. Lựa chọn mô hình tương tác luôn hiển thị lời nhắc xác nhận. Nhưng các đường khởi động không tương tác như Kanban workers và cron agents sẽ thất bại an toàn vì chúng không thể hỏi câu hỏi đó.

Nếu việc đào tạo trên dữ liệu của khối lượng công việc không giám sát là chấp nhận được, hãy ghi nhận một sự xác nhận bền vững:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes vẫn in ra cảnh báo đầy đủ về chính sách dữ liệu và khóa xác nhận trên mỗi lần khởi động không giám sát, để nhật ký worker giữ lại dấu vết kiểm toán. Thu hồi bằng hermes config unset security.allow_data_training_tiers_noninteractive.

Thiết Lập Mô Hình Phụ Trợ

Nhấp Show auxiliary để hiển thị 11 vị trí tác vụ. Mọi tác vụ phụ trợ mặc định là auto — nghĩa là Hermes cũng thử dùng mô hình chính của bạn cho công việc đó. Nếu tuyến đường đó không khả dụng hoặc gặp lỗi kiểu quá tải, auto sẽ theo bất kỳ chuỗi dự phòng cụ thể nào của tác vụ, rồi đến chuỗi dự phòng chính, rồi đến chuỗi khám phá phụ trợ tích hợp của Hermes.

Ghi đè một tác vụ cụ thể khi bạn muốn một mô hình rẻ hơn hoặc nhanh hơn cho một việc phụ. Ví dụ, bạn có thể muốn một mô hình nhỏ để tạo tiêu đề phiên nhưng vẫn giữ mô hình lớn cho các tác vụ thị giác.

Con Đường Nhanh Nhất: Nous Portal

Nous Portal cung cấp hơn 300 mô hình với một gói đăng ký duy nhất. Trên bản cài đặt mới, chạy hermes setup --portal để đăng nhập và đặt Nous làm nhà cung cấp của bạn chỉ trong một lệnh. Kiểm tra những gì đã được kết nối bằng hermes portal info. Người đăng ký Portal còn được giảm 10% cho các nhà cung cấp tính phí theo token.

Lưu Ý về Lược Đồ `model:`

Trên bản cài đặt hoàn toàn mới, cấu hình mặc định đi kèm có model: "" (một chuỗi rỗng đánh dấu “chưa được cấu hình”). Lần đầu tiên bạn chạy hermes setup hoặc hermes model, khóa đó được nâng cấp ngay tại chỗ thành một ánh xạ với các khóa con provider, default, base_url và api_mode. Nếu bạn thấy chuỗi rỗng trong config.yaml, hãy chạy hermes model (hoặc nhấp Change trong bảng điều khiển) và Hermes sẽ ghi dạng dict cho bạn.

Phân phối mô hình thông minh nghĩa là bạn không phải trả giá “hàng hiệu” cho những việc vặt. Mô hình chính của bạn lo phần suy nghĩ nặng ký, trong khi các mô hình nhỏ hơn, rẻ hơn lo những tác vụ thường nhật. Hiệu quả, tiết kiệm chi phí, và cho bạn quyền kiểm soát chi tiết từng phần trong quy trình làm việc của agent.