Provider Routing — Smart Model Dispatching

Provider Routing — Penjadwalan Model Cerdas

Kalau kamu pernah merasa agen AI-mu seperti memakai palu godam untuk memecahkan kacang, kamu tidak sendirian. Kebanyakan agen menjalankan semuanya lewat satu model besar dan canggih — bahkan untuk tugas-tugas kecil yang tidak butuh kapasitas otak sebesar itu. Hermes mengubah itu dengan sistem dua-tingkat yang cerdas: model utama untuk berpikir, dan model pembantu untuk tugas-tugas kecil.

Bayangkan seperti dapur restoran. Ada koki kepala (model utama) yang menangani setiap pesanan, lalu ada stasiun khusus — koki pastry, juru masak grill, juru masak persiapan — masing-masing menangani tugasnya sendiri. Persis seperti itulah cara kerja Hermes.

Dua Jenis Slot Model

Hermes menggunakan dua jenis slot model:

• Model utama — otaknya. Setiap pesan pengguna, setiap perulangan panggilan alat, setiap respons streaming mengalir melalui model ini.
• Model pembantu — asistennya. Model ini menangani kompresi konteks, visi (analisis gambar), peringkasan halaman web, penilaian persetujuan, perutean alat MCP, pembuatan judul sesi, dan pencarian keterampilan. Masing-masing punya slot sendiri dan bisa diganti secara independen.

Bagian terbaiknya? Kamu bisa mengonfigurasi semua ini langsung dari dasbor.

Halaman Models

Buka dasbor dan klik Models di bilah sisi. Kamu akan melihat dua bagian:

1. Model Settings — panel atas tempat kamu menetapkan model ke slot.
2. Usage analytics — kartu berperingkat yang menampilkan setiap model yang menjalankan sesi, lengkap dengan jumlah token, biaya, dan lencana kemampuan.

Kartu teratas adalah panel Model Settings. Baris utama selalu menampilkan model yang akan digunakan agen untuk sesi baru. Klik Change untuk membuka pemilih model.

Menetapkan Model Utama

Pemilih model memiliki dua kolom:

• Kiri — penyedia yang terautentikasi. Hanya penyedia yang sudah kamu atur (API key sudah diisi, OAuth, atau didefinisikan sebagai endpoint kustom) yang muncul di sini. Jika ada penyedia yang hilang, buka Keys dan tambahkan kredensialnya.
• Kanan — daftar model terkurasi untuk penyedia yang dipilih. Ini adalah model agen yang direkomendasikan Hermes, bukan daftar mentah /models (yang di OpenRouter mencakup 400+ model termasuk TTS, generator gambar, dan reranker).

Ketik di kotak filter untuk mempersempit berdasarkan nama penyedia, slug, atau ID model.

Pilih model, tekan Switch, dan Hermes menuliskannya ke ~/.hermes/config.yaml di bagian model. Ini hanya berlaku untuk sesi baru — tab obrolan yang sudah terbuka akan terus menggunakan model yang dipakai sejak awal. Untuk mengganti model di obrolan yang sedang berjalan, gunakan perintah /model di dalamnya.

Penggantian Model di Tengah Sesi dan Peringatan Konteks

Saat kamu mengganti model di dalam sesi yang sedang aktif, Hermes memperkirakan apakah pesan berikutnya akan menjalankan kompresi konteks preflight terhadap jendela konteks model baru. Jika sesi sudah mendekati atau melebihi ambang kompresi model tersebut, balasan penggantian akan menyertakan peringatan. Penggantian tetap langsung berlaku; kompresi dijalankan pada pesan pengguna pertama setelah penggantian.

Penting: Penggantian model di tengah sesi mereset cache prompt. Cache prompt terikat pada model yang melayani permintaan, jadi perubahan model di tengah percakapan berarti pesan berikutnya membaca ulang seluruh percakapan dengan harga input token penuh, bukan harga cache (diskon ~75–90%). Pada sesi yang panjang, pembacaan ulang satu kali ini bisa jauh lebih besar daripada selisih harga per token antara kedua model. Ganti model saat diperlukan, tapi sebaiknya lakukan di awal percakapan.

Tingkat Pelatihan Data Tanpa Pengawasan

Beberapa model mendapat diskon karena vendor dapat melatih model mereka menggunakan prompt dan responsmu. Pemilihan model interaktif selalu menampilkan prompt konfirmasi. Namun jalur startup non-interaktif seperti worker Kanban dan agen cron akan gagal secara aman karena tidak bisa menanyakan pertanyaan itu.

Jika pelatihan menggunakan data dari beban kerja tanpa pengawasan bisa diterima, catat pengakuan persisten:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes tetap mencetak peringatan kebijakan data lengkap dan kunci pengakuan pada setiap startup tanpa pengawasan, sehingga log worker menyimpan jejak audit. Cabut dengan hermes config unset security.allow_data_training_tiers_noninteractive.

Menetapkan Model Pembantu

Klik Show auxiliary untuk menampilkan 11 slot tugas. Setiap tugas pembantu default-nya auto — artinya Hermes mencoba menggunakan model utamamu untuk tugas itu juga. Jika rute itu tidak tersedia atau mengalami kegagalan kapasitas, auto mengikuti rantai fallback khusus tugas, lalu rantai fallback utama, lalu rantai penemuan pembantu bawaan Hermes.

Timpa tugas tertentu saat kamu ingin model yang lebih murah atau lebih cepat untuk tugas sampingan. Misalnya, kamu mungkin ingin model kecil untuk pembuatan judul sesi tetapi tetap menggunakan model besar untuk tugas visi.

Jalur Tercepat: Nous Portal

Nous Portal menyediakan 300+ model dengan satu langganan. Pada instalasi baru, jalankan hermes setup --portal untuk masuk dan menetapkan Nous sebagai penyediamu dalam satu perintah. Periksa apa yang sudah terhubung dengan hermes portal info. Pelanggan Portal juga mendapat diskon 10% untuk penyedia berbasis token.

Catatan tentang Skema model:

Pada instalasi baru, konfigurasi default bawaan memiliki model: "" (string kosong sebagai penanda yang berarti “belum dikonfigurasi”). Pertama kali kamu menjalankan hermes setup atau hermes model, kunci itu di-upgrade di tempat menjadi pemetaan dengan sub-kunci provider, default, base_url, dan api_mode. Jika kamu melihat string kosong di config.yaml, jalankan hermes model (atau klik Change di dasbor) dan Hermes akan menuliskan bentuk dict untukmu.

---

Penjadwalan model cerdas berarti kamu tidak membayar harga model flagship untuk pekerjaan ringan. Model utamamu menangani pemikiran berat, sementara model yang lebih kecil dan lebih murah menangani tugas rutin. Ini efisien, hemat biaya, dan memberimu kendali granular atas setiap bagian alur kerja agenmu.

---