Provider Routing — Smart Model Dispatching

Provider Routing — การจัดส่งโมเดลอัจฉริยะ

ถ้าคุณเคยรู้สึกว่า AI agent ของคุณเหมือนใช้ค้อนทุบแมลงวัน — คุณไม่ได้คิดคนเดียว Agent ส่วนใหญ่รันทุกอย่างผ่านโมเดลใหญ่ที่ทรงพลังตัวเดียว แม้แต่งานเล็กๆ น้อยๆ ที่ไม่ต้องใช้สมองมากมาย Hermes เปลี่ยนเรื่องนั้นด้วยระบบสองชั้นอัจฉริยะ: โมเดลหลัก (main model) สำหรับงานที่ต้องคิด และ โมเดลเสริม (auxiliary models) สำหรับงานเล็กๆ

ลองนึกถึงครัวในร้านอาหารดูสิ คุณมีหัวหน้าพ่อครัว (โมเดลหลัก) ที่คอยจัดการทุกออเดอร์ แล้วก็มีสถานีเฉพาะทาง — พ่อครัวขนม พ่อครัวย่าง พ่อครัวเตรียมวัตถุดิบ — แต่ละคนรับผิดชอบงานของตัวเอง นั่นคือวิธีที่ Hermes ทำงานเป๊ะๆ

โมเดลสองประเภท

Hermes ใช้ช่องใส่โมเดลสองแบบ:

• โมเดลหลัก (Main model) — มันสมอง ทุกข้อความจากผู้ใช้ ทุก loop การเรียกเครื่องมือ ทุกการตอบกลับแบบสตรีมจะไหลผ่านโมเดลนี้
• โมเดลเสริม (Auxiliary models) — ผู้ช่วยข้างกาย รับหน้าที่บีบอัดบริบท (context compression), วิเคราะห์ภาพ (vision), สรุปเนื้อหาเว็บเพจ, ให้คะแนนอนุมัติ (approval scoring), จัดเส้นทางเครื่องมือ MCP, สร้างชื่อแชท และค้นหาสกิล แต่ละงานมีช่องของตัวเองและสามารถเปลี่ยนได้อิสระ

จุดเด่นที่สุด? คุณสามารถตั้งค่าทั้งหมดนี้ได้จากแดชบอร์ดเลย

หน้า Models

เปิดแดชบอร์ดแล้วคลิก Models ในแถบข้าง คุณจะเห็นสองส่วน:

1. Model Settings — แผงด้านบนที่คุณกำหนดโมเดลให้แต่ละช่อง
2. Usage analytics — การ์ดจัดอันดับที่แสดงทุกโมเดลที่เคยรันเซสชัน พร้อมจำนวนโทเค็น ค่าใช้จ่าย และป้ายความสามารถ

การ์ดบนสุดคือแผง Model Settings แถวหลักจะแสดงเสมอว่า agent จะใช้โมเดลอะไรสำหรับเซสชันใหม่ คลิก Change เพื่อเปิดตัวเลือก

การตั้งค่าโมเดลหลัก

ตัวเลือกมีสองคอลัมน์:

• ซ้าย — ผู้ให้บริการที่ยืนยันตัวตนแล้ว เฉพาะผู้ให้บริการที่คุณตั้งค่าไว้ (ตั้ง API key, OAuth หรือกำหนดเป็น custom endpoint) จะแสดงที่นี่ ถ้าผู้ให้บริการหายไป ให้ไปที่ Keys แล้วเพิ่มข้อมูลรับรอง
• ขวา — รายชื่อโมเดลที่คัดสรรมาสำหรับผู้ให้บริการที่เลือก เหล่านี้คือโมเดล agentic ที่ Hermes แนะนำ ไม่ใช่รายการ /models ดิบ (ซึ่งบน OpenRouter มี 400+ โมเดล รวมถึง TTS, เครื่องสร้างภาพ และ reranker)

พิมพ์ในช่องกรองเพื่อค้นหาตามชื่อผู้ให้บริการ, slug หรือรหัสโมเดล

เลือกโมเดล กด Switch แล้ว Hermes จะเขียนลงใน ~/.hermes/config.yaml ในส่วน model การเปลี่ยนแปลงนี้ใช้กับเซสชันใหม่เท่านั้น — แท็บแชทที่เปิดอยู่แล้วจะยังคงใช้โมเดลเดิมที่เริ่มไว้ หากต้องการสลับโมเดลในแชทปัจจุบัน ให้ใช้คำสั่ง /model ข้างในแชทนั้น

การสลับโมเดลกลางเซสชันและคำเตือนเรื่องบริบท

เมื่อคุณสลับโมเดล ภายในเซสชันที่ใช้งานอยู่ Hermes จะประเมินว่า ข้อความถัดไป ของคุณจะต้อง บีบอัดบริบทล่วงหน้า (preflight context compression) กับหน้าต่างของโมเดลใหม่หรือไม่ ถ้าเซสชันใกล้หรือเกินเกณฑ์การบีบอัดของโมเดลนั้นแล้ว คำตอบจากการสลับจะมีการเตือน การสลับยังคงมีผลทันที การบีบอัดจะเกิดขึ้นใน ข้อความแรกจากผู้ใช้หลังการสลับ

สำคัญ: การสลับโมเดลกลางเซสชันจะรีเซ็ต prompt cache Prompt cache ผูกกับโมเดลที่ให้บริการคำขอนั้น ดังนั้นการเปลี่ยนโมเดลระหว่างสนทนาหมายความว่าข้อความถัดไปจะต้องอ่านบทสนทนาทั้งหมดในราคา input token เต็มแทนที่จะเป็นราคา cache (ส่วนลด ~75–90%) ในเซสชันยาวๆ การอ่านซ้ำครั้งเดียวนี้อาจมากกว่าความต่างของราคาต่อโทเค็นระหว่างสองโมเดลเสียอีก สลับเมื่อจำเป็น แต่ควรสลับตั้งแต่ช่วงต้นของการสนทนา

ระดับการฝึกข้อมูลแบบไม่มีคนดูแล (Unattended Data-Training Tiers)

โมเดลบางตัวมีราคาถูกกว่าเพราะผู้ให้บริการอาจนำ prompts และคำตอบของคุณไปฝึกโมเดล การเลือกโมเดลแบบโต้ตอบจะแสดงหน้ายืนยันเสมอ แต่เส้นทางการเริ่มต้นแบบไม่โต้ตอบ เช่น Kanban workers และ cron agents จะปิดการใช้งานโดยอัตโนมัติ เพราะไม่สามารถถามคำถามนั้นได้

หากยอมรับการนำข้อมูลจากงานแบบไม่มีคนดูแลไปฝึกได้ ให้บันทึกการยอมรับถาวร:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes จะยังพิมพ์คำเตือนนโยบายข้อมูลและคีย์การยอมรับทุกครั้งที่เริ่มต้นแบบไม่มีคนดูแล เพื่อให้ logs ของ worker มีร่องรอยการตรวจสอบ ยกเลิกได้ด้วย hermes config unset security.allow_data_training_tiers_noninteractive

การตั้งค่าโมเดลเสริม

คลิก Show auxiliary เพื่อแสดงช่องงาน 11 ช่อง งานเสริมทุกงานตั้งค่าเป็น auto โดยค่าเริ่มต้น — หมายความว่า Hermes จะลองใช้โมเดลหลักของคุณกับงานนั้นด้วย ถ้าเส้นทางนั้นไม่พร้อมหรือเจอความล้มเหลวแบบ capacity auto จะไล่ตาม fallback chain เฉพาะงาน ตามด้วย fallback chain หลัก แล้วก็ built-in auxiliary discovery chain ของ Hermes

Override งานเฉพาะเมื่อคุณต้องการโมเดลที่ถูกกว่าหรือเร็วกว่าสำหรับงานรอง ตัวอย่างเช่น คุณอาจอยากใช้โมเดลเล็กๆ สำหรับสร้างชื่อแชท แต่ยังใช้โมเดลใหญ่สำหรับงานวิเคราะห์ภาพ

เส้นทางที่เร็วที่สุด: Nous Portal

Nous Portal ให้โมเดล 300+ ตัวภายใต้การสมัครสมาชิกเดียว ในการติดตั้งใหม่ รัน hermes setup --portal เพื่อเข้าสู่ระบบและตั้งค่า Nous เป็นผู้ให้บริการในคำสั่งเดียว ตรวจสอบสิ่งที่เชื่อมต่อด้วย hermes portal info สมาชิก Portal ยังได้ ส่วนลด 10% สำหรับผู้ให้บริการที่คิดตามโทเค็น

หมายเหตุเกี่ยวกับ Schema model:

ในการติดตั้งใหม่ทั้งหมด คอนฟิกเริ่มต้นที่มาพร้อมจะมี model: "" (สตริงว่างที่หมายถึง “ยังไม่ได้ตั้งค่า”) ครั้งแรกที่คุณรัน hermes setup หรือ hermes model คีย์นั้นจะถูกอัปเกรดเป็น mapping ที่มีคีย์ย่อย provider, default, base_url และ api_mode ถ้าคุณเห็นสตริงว่างใน config.yaml ให้รัน hermes model (หรือคลิก Change ในแดชบอร์ด) แล้ว Hermes จะเขียนรูปแบบ dict ให้คุณ

---

การจัดส่งโมเดลอัจฉริยะหมายความว่าคุณไม่ต้องจ่ายราคาระดับเรือธงสำหรับงานเล็กๆ น้อยๆ โมเดลหลักของคุณจัดการงานที่ต้องคิดหนัก ในขณะที่โมเดลเล็กและถูกกว่าจัดการงานประจำ มันมีประสิทธิภาพ คุ้มค่า และให้คุณควบคุมทุกส่วนของ workflow agent ได้อย่างละเอียด