Run Local LLMs on Mac

Menjalankan LLM Lokal di Mac

Jadi, kamu sudah menjalankan Hermes Agent di Mac, dan siap menyelami dunia LLM lokal. Pilihan yang bagus! Tapi sebelum mulai mengobrol, kamu perlu paham dulu bagaimana Hermes menangani model. Anggap saja seperti menyiapkan dapur: ada koki utamamu, lalu ada banyak asisten khusus untuk tugas-tugas tertentu.

Dua Jenis Slot Model

Hermes menggunakan dua jenis slot model:

• Model utama — ini koki kepalamu. Setiap pesan pengguna, setiap loop pemanggilan alat, setiap respons yang dialirkan melewati model ini. Ini otak dari seluruh operasi.
• Model tambahan — ini asisten kokimu. Mereka menangani tugas-tugas kecil seperti kompresi konteks, visi (analisis gambar), peringkasan halaman web, penilaian persetujuan, perutean alat MCP, pembuatan judul sesi, dan pencarian keterampilan. Masing-masing punya slot sendiri dan bisa diganti secara independen.

Memulai: Jalur Tercepat

Kalau kamu baru mengenal Hermes, cara tercepat untuk mengonfigurasi model adalah melalui Nous Portal. Kamu mendapat akses ke 300+ model dengan satu langganan. Pada instalasi baru, cukup jalankan:

hermes setup --portal

Ini akan login dan mengatur Nous sebagai penyediamu dalam satu perintah. Kamu bisa cek apa saja yang terhubung dengan hermes portal info. Plus, pelanggan portal dapat diskon 10% untuk penyedia yang ditagih per token. Lumayan, kan?

Halaman Models

Buka dasbor dan klik Models di bilah sisi. Kamu akan melihat dua bagian:

1. Model Settings — panel atas tempat kamu menetapkan model ke slot.
2. Usage analytics — kartu berperingkat yang menampilkan setiap model yang menjalankan sesi, lengkap dengan jumlah token, biaya, dan lencana kemampuan.

Kartu teratas adalah panel Model Settings. Baris utama menunjukkan apa yang akan digunakan agen untuk sesi baru. Klik Change untuk membuka pemilih.

Mengatur Model Utama

Pemilih memiliki dua kolom:

• Kiri — penyedia yang sudah diautentikasi. Hanya penyedia yang sudah kamu atur (API key terisi, sudah OAuth, atau didefinisikan sebagai endpoint kustom) yang muncul di sini. Jika ada penyedia yang hilang, buka Keys dan tambahkan kredensialnya.
• Kanan — daftar model terkurasi untuk penyedia yang dipilih. Ini adalah model agen yang direkomendasikan Hermes, bukan dump /models mentah (yang di OpenRouter mencakup 400+ model termasuk TTS, generator gambar, dan reranker).

Ketik di kotak filter untuk mempersempit berdasarkan nama penyedia, slug, atau ID model. Pilih model, tekan Switch, dan Hermes menuliskannya ke ~/.hermes/config.yaml. Ini hanya berlaku untuk sesi baru — tab obrolan yang sudah terbuka akan terus menggunakan model yang dipakai saat dimulai. Untuk mengganti langsung obrolan saat ini, gunakan perintah garis miring /model di dalamnya.

Ganti di Tengah Sesi: Sebuah Peringatan

Saat kamu mengganti model di dalam sesi aktif, Hermes memperkirakan apakah pesan berikutnya akan menjalankan kompresi konteks pra-pemeriksaan terhadap jendela model baru. Jika sesi sudah mendekati atau melebihi ambang kompresi model tersebut, kamu akan mendapat peringatan. Penggantian tetap berlaku langsung, tetapi kompresi berjalan pada pesan pengguna pertama setelah penggantian.

Penting: Penggantian di tengah sesi mengatur ulang cache prompt. Cache prompt terikat pada model yang melayani permintaan, jadi perubahan model di tengah percakapan berarti pesan berikutnya membaca ulang seluruh percakapan dengan harga token input penuh, bukan tarif cache (~diskon 75–90%). Pada sesi panjang, pembacaan ulang satu kali ini bisa jauh lebih besar daripada perbedaan per token antara kedua model. Ganti saat kamu perlu, tapi sebaiknya lakukan di awal percakapan.

Tingkat Pelatihan Data Tanpa Pengawasan

Beberapa model seperti muse-spark-1.2-contributor didiskon karena vendor dapat melatih model pada prompt dan responsmu. Pemilihan model interaktif selalu menampilkan prompt konfirmasi. Tetapi jalur startup non-interaktif (seperti pekerja Kanban dan agen cron) gagal dengan aman karena mereka tidak bisa menanyakan pertanyaan itu.

Jika pelatihan pada data beban kerja tanpa pengawasan dapat diterima, catat pengakuan permanen:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes tetap mencetak peringatan kebijakan data lengkap setiap kali startup tanpa pengawasan, jadi log pekerja tetap memiliki jejak audit. Cabut dengan:

hermes config unset security.allow_data_training_tiers_noninteractive

Mengatur Model Tambahan

Klik Show auxiliary untuk menampilkan 11 slot tugas. Setiap tugas tambahan default ke auto — artinya Hermes mencoba model utamamu untuk tugas itu juga. Jika rute itu tidak tersedia, auto mengikuti rantai fallback khusus tugas, lalu rantai fallback utama, lalu rantai penemuan tambahan bawaan Hermes. Ganti tugas tertentu saat kamu ingin model yang lebih murah atau lebih cepat untuk tugas sampingan.

Catatan tentang Skema model:

Pada instalasi baru, konfigurasi default yang disertakan memiliki model: "" (string kosong sebagai penanda yang berarti “belum dikonfigurasi”). Pertama kali kamu menjalankan hermes setup atau hermes model, kunci itu diupgrade di tempat menjadi pemetaan dengan sub-kunci provider, default, base_url, dan api_mode. Jika kamu pernah melihat string kosong di config.yaml, jalankan hermes model (atau klik Change di dasbor) dan Hermes akan menuliskan bentuk dict untukmu.

Itu saja! Sekarang kamu siap mengonfigurasi model seperti seorang profesional. Selamat mengobrol!

---