Computer Use — AI ควบคุมคอมพิวเตอร์ของคุณ

ลองนึกภาพว่าคุณกำลังจดจ่ออยู่กับรายงานชิ้นหนึ่ง ขณะที่ผู้ช่วย AI ของคุณกำลังจัดระเบียบโฟลเดอร์ กรอกแบบฟอร์ม และเลื่อนหน้าเว็บไปมาอย่างเงียบเชียบ บน “หน้าจอเสมือน” ที่อยู่ข้างๆ คุณ—เหมือนเพื่อนร่วมงานที่มองไม่เห็นตัว ซึ่งไม่เคยขัดจังหวะจังหวะการทำงานของคุณเลย

นี่คือสิ่งที่ Computer Use ใน Hermes Agent ทำได้อย่างแท้จริง มันทำให้ AI มองเห็น เนื้อหาบนหน้าจอของคุณ และจำลองการคลิก การพิมพ์ การเลื่อน และการลาก—โดยไม่ขยับเมาส์ของคุณ ไม่แย่งโฟกัสคีย์บอร์ด หรือสลับเดสก์ท็อปเสมือนของคุณ คุณและ AI ทำงานเคียงข้างกันบนเครื่องเดียวกัน อย่างเป็นอิสระต่อกันโดยสิ้นเชิง

โมเดล AI ตัวไหนที่ใช้งานได้?

เกือบทุกโมเดลที่เรียกใช้เครื่องมือ (tools) ได้—ไม่ว่าจะเป็น Claude, GPT, Gemini หรือแม้แต่โมเดลโอเพนซอร์สที่รันในเครื่องเอง Hermes ไม่ได้ล็อกคุณไว้กับรูปแบบเฉพาะใดๆ ไม่ต้องเรียนรู้ไวยากรณ์พิเศษแบบ Anthropic แค่เชื่อมต่อโมเดลที่คุณชื่นชอบแล้วเริ่มใช้งานได้เลย

มันทำได้อย่างไร?

Hermes ใช้ไดรเวอร์โอเพนซอร์สชื่อ cua-driver โดยมันจะอ่านองค์ประกอบบนหน้าจอ (ปุ่ม กล่องข้อความ เมนู) ผ่าน อินเทอร์เฟสการช่วยเหลือการเข้าถึง (accessibility interfaces) จากนั้นส่งคำสั่งจำลองไปยังหน้าต่างเป้าหมาย ภายใต้ฝาครอบ แต่ละระบบปฏิบัติการจะใช้เลเยอร์การช่วยเหลือการเข้าถึงแบบเนทีฟของตัวเอง:

• macOS: AX (Accessibility) — ส่งเหตุการณ์ โดยไม่ขยับเคอร์เซอร์จริง
• Windows: UIAutomation — การป้อนข้อมูล ไม่แย่งโฟกัส
• Linux: AT‑SPI (X11 & Wayland) — ไม่รบกวนหน้าต่างที่คุณใช้งานอยู่

หลักการสำคัญคือ: ไม่บังคับให้หน้าต่างใดๆ ขึ้นมาอยู่เบื้องหน้าเด็ดขาด สงสัยว่าทำไมถึงสำคัญ? อ่านเพิ่มเติมได้ที่ no‑foreground contract

วิธีเปิดใช้งาน — มี 2 วิธี

วิธีที่ 1: คำสั่งตรง (ง่ายที่สุด)

hermes computer-use install

จากนั้นตรวจสอบ:

hermes computer-use status

วิธีที่ 2: การติดตั้งแบบโต้ตอบ

hermes tools

เลือก 🖱️ Computer Use (macOS/Windows/Linux) จากรายการ—มันจะรันตัวติดตั้งเดียวกันให้อัตโนมัติ

สิทธิ์ที่ต้องให้หลังการติดตั้ง

ให้สิทธิ์บางอย่างแก่เทอร์มินัล (หรือแอป Hermes) ของคุณ:

• macOS: การตั้งค่าระบบ → ความเป็นส่วนตัวและความปลอดภัย → เปิดใช้งาน การช่วยเหลือการเข้าถึง (Accessibility) และ การบันทึกหน้าจอ (Screen Recording) ไม่แน่ใจว่าต้องให้อันไหน? รัน hermes computer-use doctor—มันจะบอกคุณว่าขาดอะไรบ้าง
• Windows: การใช้งานในเครื่องไม่ต้องตั้งค่าเพิ่มเติม สำหรับการเข้าถึงระยะไกลผ่าน SSH ให้ทำตามคู่มือ Windows‑SSH guide
• Linux: ตั้งค่า DISPLAY (สำหรับ X11) หรือ XDG_SESSION_TYPE=wayland (สำหรับ Wayland ซึ่งต้องใช้สะพาน XWayland) และตรวจสอบให้แน่ใจว่า AT‑SPI ทำงานอยู่ (GNOME/KDE เปิดใช้งานให้โดยค่าเริ่มต้น)

เริ่มใช้งาน

หลังจากติดตั้งและให้สิทธิ์เรียบร้อย เริ่มแชทพร้อมกับชุดเครื่องมือ:

hermes -t computer_use chat

หรือเพิ่ม computer_use ลงใน ~/.hermes/config.yaml ภายใต้หัวข้อ toolsets เพื่อให้เปิดใช้งานอัตโนมัติทุกเซสชัน

โหมดสิทธิ์และการเข้าสู่ระบบเบราว์เซอร์

Hermes แมประบบการอนุมัติที่มีอยู่เข้ากับ โหมดเดมอนที่ไม่สามารถแก้ไขได้ (immutable daemon mode) ของ cua‑driver—ดังนั้นจึงไม่มีการสลับสิทธิ์ชุดที่สองให้จำ ใช้ขั้นตอนอนุญาต/ปฏิเสธแบบเดียวกับที่คุณรู้จักอยู่แล้ว ก่อนที่ AI จะแตะหน้าจอของคุณ มันจะขออนุญาตคุณก่อนเสมอ ปลอดภัยและเรียบง่าย

สรุปและเคล็ดลับการใช้งาน

สรุปสั้นๆ: Computer Use = AI ทำงานบน “สำเนาพื้นหลัง” ของหน้าจอคุณ ในขณะที่คุณยังคงทำงานของคุณต่อไป

เคล็ดลับจากผู้เชี่ยวชาญ: ก่อนเริ่มงานจริงครั้งแรก ให้รัน hermes computer-use doctor เพื่อตรวจสอบสิทธิ์ หากคลิกแล้วไม่ทำงาน สาเหตุ 90% มาจากการขาดสิทธิ์การบันทึกหน้าจอหรือการช่วยเหลือการเข้าถึง—ไม่ต้องติดตั้งใหม่ แค่ตรวจสอบ diagnostics ก็พอ นอกจากนี้ ลองทดสอบการพิมพ์และการเลื่อนในหน้าต่าง Notepad ที่ว่างเปล่าก่อน ทำความคุ้นเคยกับมันก่อน แล้วค่อยปล่อยให้มันทำงานกับแอปจริง

---