Run Local LLMs on Mac | Easy Understand Hermes Agent

Chạy LLM Cục Bộ Trên Mac

Vậy là bạn đã cài đặt Hermes Agent trên Mac và sẵn sàng bước vào thế giới LLM cục bộ. Lựa chọn tuyệt vời! Nhưng trước khi bắt đầu trò chuyện, bạn cần hiểu cách Hermes xử lý các mô hình. Hãy nghĩ về nó như việc chuẩn bị một căn bếp: bạn có đầu bếp chính, và sau đó là một loạt các trợ lý chuyên biệt cho từng nhiệm vụ cụ thể.

Hai Loại Vị Trí Mô Hình (Model Slots)

Hermes sử dụng hai loại vị trí mô hình:

Mô hình chính (Main model) — đây là đầu bếp trưởng của bạn. Mọi tin nhắn người dùng, mọi vòng lặp gọi công cụ, mọi phản hồi được truyền trực tiếp đều đi qua mô hình này. Nó là bộ não của toàn bộ hoạt động.
Mô hình phụ trợ (Auxiliary models) — đây là các trợ lý bếp của bạn. Chúng xử lý các công việc phụ nhỏ hơn như nén ngữ cảnh, thị giác (phân tích hình ảnh), tóm tắt trang web, chấm điểm phê duyệt, định tuyến công cụ MCP, tạo tiêu đề phiên và tìm kiếm kỹ năng. Mỗi mô hình có một vị trí riêng và có thể được ghi đè một cách độc lập.

Bắt Đầu: Con Đường Nhanh Nhất

Nếu bạn mới làm quen với Hermes, cách nhanh nhất để cấu hình các mô hình là thông qua Nous Portal. Nó cung cấp cho bạn quyền truy cập vào hơn 300 mô hình chỉ với một lần đăng ký. Trên bản cài đặt mới, chỉ cần chạy:

hermes setup --portal

Lệnh này sẽ đăng nhập và đặt Nous làm nhà cung cấp của bạn chỉ trong một thao tác. Bạn có thể kiểm tra những gì đã được kết nối bằng hermes portal info. Thêm vào đó, người đăng ký portal được giảm 10% cho các nhà cung cấp tính phí theo token. Không tệ đúng không?

Trang Models

Mở bảng điều khiển (dashboard) và nhấp vào Models trong thanh bên. Bạn sẽ thấy hai phần:

Model Settings — bảng điều khiển phía trên nơi bạn gán các mô hình vào các vị trí (slots).
Usage analytics — các thẻ được xếp hạng hiển thị mọi mô hình đã chạy một phiên, kèm theo số token, chi phí và huy hiệu khả năng.

Thẻ trên cùng là bảng Model Settings. Hàng chính hiển thị những gì agent sẽ khởi tạo cho các phiên mới. Nhấp vào Change để mở trình chọn.

Thiết Lập Mô Hình Chính

Trình chọn có hai cột:

Bên trái — các nhà cung cấp đã xác thực. Chỉ những nhà cung cấp bạn đã thiết lập (đã đặt API key, đã OAuth, hoặc được định nghĩa như một endpoint tùy chỉnh) mới xuất hiện ở đây. Nếu thiếu một nhà cung cấp, hãy đến phần Keys và thêm thông tin xác thực của nó.
Bên phải — danh sách mô hình được tuyển chọn cho nhà cung cấp đã chọn. Đây là các mô hình agentic mà Hermes khuyên dùng, không phải danh sách /models thô (trên OpenRouter bao gồm hơn 400 mô hình bao gồm cả TTS, trình tạo hình ảnh và bộ xếp hạng lại).

Nhập vào ô lọc để thu hẹp theo tên nhà cung cấp, slug hoặc ID mô hình. Chọn một mô hình, nhấn Switch, và Hermes sẽ ghi nó vào ~/.hermes/config.yaml. Điều này chỉ áp dụng cho các phiên mới — bất kỳ tab trò chuyện nào bạn đang mở sẽ tiếp tục chạy mô hình mà nó đã bắt đầu. Để chuyển đổi nhanh (hot-swap) cuộc trò chuyện hiện tại, hãy sử dụng lệnh /model bên trong cuộc trò chuyện đó.

Chuyển Đổi Giữa Phiên: Một Lời Cảnh Báo

Khi bạn chuyển đổi mô hình trong một phiên đang hoạt động, Hermes sẽ ước tính liệu tin nhắn tiếp theo của bạn có chạy nén ngữ cảnh trước khi kiểm tra (preflight context compression) với cửa sổ của mô hình mới hay không. Nếu phiên đã gần hoặc vượt quá ngưỡng nén của mô hình đó, bạn sẽ nhận được cảnh báo. Việc chuyển đổi vẫn được áp dụng ngay lập tức, nhưng quá trình nén sẽ chạy trên tin nhắn người dùng đầu tiên sau khi chuyển đổi.

Quan trọng: Việc chuyển đổi mô hình giữa phiên sẽ đặt lại bộ nhớ đệm lời nhắc (prompt cache). Bộ nhớ đệm lời nhắc được khóa theo mô hình phục vụ yêu cầu, vì vậy bất kỳ thay đổi mô hình nào giữa cuộc trò chuyện đều có nghĩa là tin nhắn tiếp theo sẽ đọc lại toàn bộ cuộc trò chuyện với giá token đầu vào đầy đủ thay vì mức giá đã được lưu trong bộ nhớ đệm (giảm ~75–90%). Trong một phiên dài, việc đọc lại một lần này có thể lớn hơn nhiều so với sự khác biệt về giá mỗi token giữa hai mô hình. Hãy chuyển đổi khi bạn cần, nhưng tốt nhất nên thực hiện sớm trong cuộc trò chuyện.

Các Tầng Huấn Luyện Dữ Liệu Không Giám Sát (Unattended Data-Training Tiers)

Một số mô hình như muse-spark-1.2-contributor được giảm giá vì nhà cung cấp có thể huấn luyện trên các lời nhắc và phản hồi của bạn. Việc chọn mô hình tương tác luôn hiển thị lời nhắc xác nhận. Nhưng các đường dẫn khởi động không tương tác (như Kanban workers và cron agents) sẽ tự động chặn lại (fail closed) vì chúng không thể hỏi câu hỏi đó.

Nếu việc huấn luyện trên dữ liệu của khối lượng công việc không giám sát là chấp nhận được, hãy ghi lại một xác nhận vĩnh viễn:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes vẫn in cảnh báo chính sách dữ liệu đầy đủ trên mỗi lần khởi động không giám sát, vì vậy nhật ký worker vẫn giữ lại dấu vết kiểm toán. Thu hồi nó bằng cách:

hermes config unset security.allow_data_training_tiers_noninteractive

Thiết Lập Các Mô Hình Phụ Trợ

Nhấp vào Show auxiliary để hiển thị 11 vị trí nhiệm vụ. Mọi nhiệm vụ phụ trợ mặc định là auto — nghĩa là Hermes cũng sẽ thử dùng mô hình chính của bạn cho công việc đó. Nếu đường dẫn đó không khả dụng, auto sẽ tuân theo bất kỳ chuỗi dự phòng cụ thể nào của nhiệm vụ, sau đó đến chuỗi dự phòng chính, rồi đến chuỗi khám phá phụ trợ tích hợp của Hermes. Ghi đè một nhiệm vụ cụ thể khi bạn muốn một mô hình rẻ hơn hoặc nhanh hơn cho một công việc phụ.

Lưu Ý Về Lược Đồ `model:`

Trên một bản cài đặt hoàn toàn mới, cấu hình mặc định đi kèm có model: "" (một chuỗi rỗng đóng vai trò là điểm đánh dấu “chưa được cấu hình”). Lần đầu tiên bạn chạy hermes setup hoặc hermes model, khóa đó sẽ được nâng cấp tại chỗ thành một ánh xạ (mapping) với các khóa con provider, default, base_url và api_mode. Nếu bạn thấy một chuỗi rỗng trong config.yaml, hãy chạy hermes model (hoặc nhấp vào Change trong bảng điều khiển) và Hermes sẽ tự động ghi dạng từ điển (dict) cho bạn.

Vậy là xong! Giờ bạn đã sẵn sàng cấu hình các mô hình như một chuyên gia. Chúc bạn trò chuyện vui vẻ!