รัน LLM ในเครื่องบน Mac

รัน LLM ในเครื่องบน Mac

สมมุติว่าคุณได้รัน Hermes Agent บน Mac ของคุณแล้ว และพร้อมที่จะดำดิ่งสู่โลกของ local LLM แล้ว เยี่ยมมาก! แต่ก่อนที่คุณจะเริ่มแชทสนุกๆ คุณต้องเข้าใจก่อนว่า Hermes จัดการกับโมเดลอย่างไร ให้คิดว่ามันเหมือนการจัดเตรมห้องครัว: คุณมีเชฟหลัก แล้วก็มีผู้ช่วยเฉพาะทางอีกหลายคนสำหรับงานเฉพาะด้าน

สล็อตโมเดลสองประเภท

Hermes ใช้สล็อตโมเดลสองแบบ:

• โมเดลหลัก (Main model) — นี่คือเชฟหัวหน้าของคุณ ทุกข้อความจากผู้ใช้ ทุกๆ ลูปการเรียกใช้เครื่องมือ ทุกการตอบกลับแบบสตรีมมิ่ง จะผ่านโมเดลนี้ทั้งหมด มันคือสมองของการทำงานทั้งหมด
• โมเดลเสริม (Auxiliary models) — เหล่านี้คือผู้ช่วยเชฟของคุณ พวกมันจัดการงานย่อยๆ เช่น การบีบอัดบริบท (context compression), วิทัศน์ (การวิเคราะห์ภาพ), การสรุปหน้าเว็บ, การให้คะแนนอนุมัติ, การจัดเส้นทาง MCP tool, การสร้างชื่อเซสชัน และการค้นหาทักษะ แต่ละอย่างมีสล็อตของตัวเองและสามารถแทนที่ได้อย่างอิสระ

เริ่มต้น: เส้นทางที่เร็วที่สุด

หากคุณเพิ่งเริ่มใช้ Hermes วิธีที่เร็วที่สุดในการกำหนดค่าโมเดลคือผ่าน Nous Portal ซึ่งให้คุณเข้าถึงโมเดลมากกว่า 300+ โมเดลภายใต้การสมัครสมาชิกเดียว ในการติดตั้งใหม่ เพียงรัน:

hermes setup --portal

คำสั่งนี้จะล็อกอินคุณและตั้งค่า Nous เป็นผู้ให้บริการของคุณในคำสั่งเดียว คุณสามารถตรวจสอบสิ่งที่เชื่อมต่ออยู่ได้ด้วย hermes portal info นอกจากนี้ ผู้สมัครสมาชิกพอร์ทัลยังได้รับ ส่วนลด 10% สำหรับผู้ให้บริการที่คิดเงินตามโทเคน เจ๋งใช่ไหมล่ะ?

หน้า Models

เปิดแดชบอร์ดแล้วคลิก Models ในแถบด้านข้าง คุณจะเห็นสองส่วน:

1. Model Settings — แผงด้านบนที่คุณกำหนดโมเดลให้กับสล็อตต่างๆ
2. Usage analytics — การ์ดจัดอันดับที่แสดงทุกโมเดลที่รันเซสชัน พร้อมจำนวนโทเคน ค่าใช้จ่าย และป้ายความสามารถ

การ์ดด้านบนสุดคือแผง Model Settings แถวหลักแสดงสิ่งที่เอเจนต์จะเปิดใช้งานสำหรับเซสชันใหม่ คลิก Change เพื่อเปิดตัวเลือก

การตั้งค่าโมเดลหลัก

ตัวเลือกมีสองคอลัมน์:

• ซ้าย — ผู้ให้บริการที่ผ่านการรับรองความถูกต้องแล้ว เฉพาะผู้ให้บริการที่คุณตั้งค่าไว้ (ตั้งค่า API key, ผ่าน OAuth หรือกำหนดเป็น custom endpoint) เท่านั้นที่จะแสดงที่นี่ หากผู้ให้บริการหายไป ให้ไปที่ Keys และเพิ่มข้อมูลรับรอง
• ขวา — รายการโมเดลที่คัดสรรแล้วสำหรับผู้ให้บริการที่เลือก เหล่านี้คือโมเดล agentic ที่ Hermes แนะนำ ไม่ใช่รายการ /models ดิบ (ซึ่งบน OpenRouter มีมากกว่า 400+ โมเดล รวมถึง TTS, เครื่องสร้างภาพ และ reranker)

พิมพ์ในช่องกรองเพื่อจำกัดขอบเขตตามชื่อผู้ให้บริการ, slug หรือรหัสโมเดล เลือกโมเดล กด Switch แล้ว Hermes จะเขียนลงใน ~/.hermes/config.yaml การเปลี่ยนแปลงนี้ใช้กับเซสชันใหม่เท่านั้น — แท็บแชทที่คุณเปิดอยู่แล้วจะยังคงใช้โมเดลเดิมที่เริ่มต้นไว้ หากต้องการสลับโมเดลในแชทปัจจุบันแบบทันที ให้ใช้คำสั่ง /model ภายในแชทนั้น

การสลับกลางเซสชัน: ข้อควรระวัง

เมื่อคุณสลับโมเดล ภายในเซสชันที่ใช้งานอยู่ Hermes จะประเมินว่า ข้อความถัดไป ของคุณจะต้องรัน preflight context compression กับหน้าต่างของโมเดลใหม่หรือไม่ หากเซสชันใกล้หรือเกินเกณฑ์การบีบอัดของโมเดลนั้นแล้ว คุณจะได้รับคำเตือน การสลับยังคงมีผลทันที แต่การบีบอัดจะทำงานใน ข้อความผู้ใช้แรกหลังจากการสลับ

สำคัญ: การสลับโมเดลกลางเซสชันจะรีเซ็ต prompt cache Prompt caches ถูกผูกไว้กับโมเดลที่ให้บริการคำขอ ดังนั้นการเปลี่ยนโมเดลระหว่างการสนทนาหมายความว่าข้อความถัดไปจะต้องอ่านบทสนทนาทั้งหมดใหม่ในราคา input token เต็มรูปแบบ แทนที่จะเป็นอัตราที่ลดแล้ว (~75–90% ส่วนลด) ในเซสชันที่ยาวนาน การอ่านซ้ำเพียงครั้งเดียวนี้สามารถมีมูลค่ามากกว่าความแตกต่างของราคาต่อโทเคนระหว่างสองโมเดลเสียอีก สลับเมื่อจำเป็น แต่ควรทำในช่วงต้นของการสนทนาจะดีกว่า

ระดับการฝึกข้อมูลแบบไม่มีการดูแล (Unattended Data-Training Tiers)

โมเดลบางตัวเช่น muse-spark-1.2-contributor มีส่วนลดเพราะผู้จำหน่ายอาจฝึกโมเดลกับ prompts และ completions ของคุณ การเลือกโมเดลแบบโต้ตอบจะแสดงหน้าต่างยืนยันเสมอ แต่เส้นทางการเริ่มต้นแบบไม่โต้ตอบ (เช่น Kanban workers และ cron agents) จะปิดการทำงานโดยอัตโนมัติ (fail closed) เพราะไม่สามารถถามคำถามนั้นได้

หากการฝึกกับข้อมูลของงานที่ไม่มีการดูแลเป็นที่ยอมรับ ให้บันทึกการยอมรับแบบถาวร:

hermes config set security.allow_data_training_tiers_noninteractive true

Hermes จะยังคงพิมพ์คำเตือนนโยบายข้อมูลฉบับเต็มทุกครั้งที่เริ่มต้นแบบไม่มีการดูแล เพื่อให้บันทึกของ worker ยังคงมีร่องรอยการตรวจสอบ ยกเลิกได้ด้วย:

hermes config unset security.allow_data_training_tiers_noninteractive

การตั้งค่าโมเดลเสริม

คลิก Show auxiliary เพื่อแสดงสล็อตงานทั้ง 11 รายการ งานเสริมทุกงานมีค่าเริ่มต้นเป็น auto — หมายความว่า Hermes จะลองใช้โมเดลหลักของคุณสำหรับงานนั้นด้วย หากเส้นทางนั้นไม่พร้อมใช้งาน auto จะทำตามห่วงโซ่ fallback เฉพาะงาน จากนั้นจึงเป็นห่วงโซ่ fallback หลัก และสุดท้ายคือห่วงโซ่การค้นพบโมเดลเสริมในตัวของ Hermes แทนที่งานเฉพาะเมื่อคุณต้องการโมเดลที่ถูกกว่าหรือเร็วกว่าสำหรับงานย่อย

หมายเหตุเกี่ยวกับ Schema model:

ในการติดตั้งใหม่เอี่ยม คอนฟิกเริ่มต้นที่มาพร้อมกับตัวเครื่องจะมี model: "" (สตริงว่างที่เป็น sentinel หมายถึง “ยังไม่ได้กำหนดค่า”) ครั้งแรกที่คุณรัน hermes setup หรือ hermes model คีย์นั้นจะถูกอัปเกรดเป็น mapping ที่มีคีย์ย่อย provider, default, base_url และ api_mode หากคุณเห็นสตริงว่างใน config.yaml ให้รัน hermes model (หรือคลิก Change ในแดชบอร์ด) แล้ว Hermes จะเขียนรูปแบบ dict ให้คุณเอง

แค่นี้แหละ! ตอนนี้คุณพร้อมที่จะกำหนดค่าโมเดลอย่างมืออาชีพแล้ว ขอให้แชทให้สนุก!