Nous Tool Gateway — 300+ Models

Nous Tool Gateway — 300+ Mô hình

Chào bạn, những nhà xây dựng agent! 👋

Lần trước chúng ta đã nói về Nous Tool Gateway và cách nó mở khóa hơn 300 mô hình chỉ với một gói đăng ký duy nhất. Hôm nay, chúng ta sẽ đi sâu vào khía cạnh thực tế: cách cấu hình những mô hình đó trong Hermes.

Hãy hình dung thế này: agent của bạn có một bộ não (mô hình chính) và một loạt trợ lý nhỏ (mô hình phụ trợ). Bộ não xử lý mọi suy nghĩ — mọi tin nhắn, mọi lệnh gọi công cụ, mọi phản hồi. Các trợ lý phụ trách các công việc phụ như tóm tắt trang web, phân tích hình ảnh, hoặc nén hội thoại dài.

Hãy cùng phân tích cách thiết lập cả hai, theo cách dễ nhất.

Con đường nhanh nhất: Nous Portal

Nếu bạn đang cài đặt mới, đây là một lệnh duy nhất làm tất cả:

hermes setup --portal

Lệnh đó đăng nhập bạn vào Nous Portal và đặt nó làm nhà cung cấp của bạn chỉ trong một lệnh. Muốn xem những gì đã được kết nối? Chạy:

hermes portal info

À, và đây là một phần thưởng thú vị: Người đăng ký Portal được giảm 10% cho các nhà cung cấp tính phí theo token. Đó là khoản tiết kiệm thực sự nếu bạn đang kết hợp nhiều nhà cung cấp.

Lưu ý nhanh về cài đặt model:

Trên một bản cài đặt hoàn toàn mới, cấu hình của bạn có model: "" — một chuỗi rỗng nghĩa là “chưa được cấu hình”. Lần đầu tiên bạn chạy hermes setup hoặc hermes model, khóa đó tự nâng cấp thành một ánh xạ phù hợp với provider, default, base_url và api_mode.

Nếu bạn thấy chuỗi rỗng đó lần nữa, chỉ cần chạy hermes model (hoặc nhấp vào Change trong bảng điều khiển) và Hermes sẽ tự sửa cho bạn.

Trang Models

Mở bảng điều khiển của bạn và nhấp vào Models trong thanh bên. Bạn sẽ thấy hai phần:

1. Model Settings — nơi bạn gán mô hình vào các vị trí
2. Usage analytics — các thẻ xếp hạng hiển thị mọi mô hình đã chạy phiên, kèm số token, chi phí và huy hiệu khả năng

Thẻ trên cùng là bảng Model Settings của bạn. Hàng chính hiển thị những gì agent của bạn sẽ dùng cho các phiên mới. Nhấp Change để mở trình chọn.

Thiết lập mô hình chính

Trình chọn có hai cột:

• Trái — các nhà cung cấp đã xác thực của bạn (chỉ những cái bạn đã thiết lập với API key hoặc OAuth)
• Phải — danh sách mô hình được tuyển chọn cho nhà cung cấp đã chọn

Đây là phần hay: Hermes không hiển thị cho bạn bản dump /models thô (trên OpenRouter bao gồm hơn 400 mô hình, kể cả trình tạo TTS và hình ảnh). Thay vào đó, bạn nhận được danh sách tuyển chọn các mô hình agentic — những mô hình thực sự giỏi về suy luận và sử dụng công cụ.

Gõ vào ô lọc để thu hẹp phạm vi, chọn một mô hình, nhấn Switch, và Hermes sẽ ghi nó vào ~/.hermes/config.yaml.

Quan trọng: Điều này chỉ áp dụng cho các phiên mới. Các tab trò chuyện đang mở của bạn tiếp tục chạy mô hình mà chúng bắt đầu. Để chuyển đổi nóng cuộc trò chuyện hiện tại, hãy dùng lệnh /model bên trong nó.

Chuyển đổi giữa phiên: Một lời cảnh báo

Chuyển đổi mô hình giữa cuộc trò chuyện? Hermes sẽ cảnh báo bạn nếu tin nhắn tiếp theo có thể kích hoạt nén ngữ cảnh so với cửa sổ của mô hình mới. Việc chuyển đổi vẫn áp dụng ngay lập tức, nhưng quá trình nén sẽ chạy trên tin nhắn đầu tiên của bạn sau khi chuyển.

Đây là điểm khó chịu lớn hơn: bộ nhớ đệm prompt được khóa theo mô hình. Vì vậy, bất kỳ chuyển đổi giữa cuộc trò chuyện nào cũng có nghĩa là tin nhắn tiếp theo sẽ đọc lại toàn bộ cuộc trò chuyện với giá đầy đủ thay vì giá đã lưu trong bộ nhớ đệm (giảm ~75–90%). Trong một phiên dài, việc đọc lại một lần đó có thể tốn kém hơn cả sự khác biệt về giá mỗi token giữa các mô hình.

Mẹo chuyên nghiệp: Hãy chuyển đổi mô hình sớm trong cuộc trò chuyện, hoặc ngay sau khi bắt đầu một phiên mới.

Các tầng huấn luyện dữ liệu không giám sát

Một số mô hình (như muse-spark-1.2-contributor) được giảm giá vì nhà cung cấp có thể huấn luyện trên dữ liệu của bạn. Việc chọn mô hình tương tác luôn hiển thị lời nhắc xác nhận. Nhưng đối với các khối lượng công việc không giám sát (Kanban workers, cron agents), Hermes tự động chặn vì nó không thể hỏi bạn.

Nếu bạn đồng ý, hãy ghi nhận một sự xác nhận bền vững:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes vẫn in cảnh báo chính sách dữ liệu đầy đủ mỗi lần khởi động, vì vậy nhật ký của bạn luôn có dấu vết kiểm toán. Thu hồi nó bằng:

hermes config unset security.allow_data_training_tiers_noninteractive

Thiết lập mô hình phụ trợ

Nhấp Show auxiliary để hiển thị 11 vị trí tác vụ. Mọi tác vụ phụ trợ mặc định là auto — nghĩa là Hermes cũng thử dùng mô hình chính của bạn cho công việc đó. Nếu thất bại, nó tuân theo chuỗi dự phòng, sau đó đến các nhà cung cấp dự phòng chính, rồi đến cơ chế khám phá tích hợp của Hermes.

Ghi đè một tác vụ cụ thể khi bạn muốn một mô hình rẻ hơn hoặc nhanh hơn cho công việc phụ. Ví dụ, bạn có thể muốn một mô hình nhỏ để tạo tiêu đề phiên nhưng lại muốn mô hình tốt nhất của mình cho các tác vụ thị giác.

Tổng kết

Đó là toàn bộ hành trình cấu hình mô hình! Dù bạn đang dùng hơn 300 mô hình của Nous Portal hay kết hợp các nhà cung cấp của riêng mình, Hermes cho bạn quyền kiểm soát chi tiết về cái gì suy nghĩ và cái gì hỗ trợ.

Lần tới, chúng ta sẽ đi sâu vào các phương pháp tốt nhất cho mô hình phụ trợ — tác vụ nào được hưởng lợi từ mô hình nhỏ hơn, và tác vụ nào thực sự cần bộ não lớn. Hãy đón chờ nhé! 🚀