Penggunaan Komputer — AI Mengoperasikan PC Anda

Bayangkan Anda sedang asyik mengerjakan laporan, dan asisten AI Anda dengan tenang merapikan folder, mengisi formulir, dan menggulir halaman web di “layar virtual” di samping Anda—seperti rekan kerja tak terlihat yang tidak pernah mengganggu alur kerja Anda.

Itulah tepatnya yang dilakukan Computer Use di Hermes Agent. Fitur ini memungkinkan AI untuk melihat konten layar Anda dan mensimulasikan klik, pengetikan, pengguliran, dan penyeretan—tanpa menggerakkan mouse Anda, mencuri fokus keyboard, atau mengganti desktop virtual Anda. Anda dan AI bekerja berdampingan di mesin yang sama, sepenuhnya independen.

Model AI Apa yang Bisa Digunakan?

Hampir semua model yang bisa memanggil tools—Claude, GPT, Gemini, bahkan model open-source lokal sekalipun. Hermes tidak mengunci Anda ke format proprietary tertentu. Tidak ada sintaks khusus Anthropic yang perlu dipelajari. Cukup pasang model favorit Anda dan langsung jalan.

Bagaimana Cara Kerjanya?

Hermes menggunakan driver open-source bernama cua-driver. Driver ini membaca elemen di layar (tombol, kotak input, menu) melalui antarmuka aksesibilitas, lalu mengirimkan aksi simulasi ke jendela target. Di balik layar, setiap sistem operasi menggunakan lapisan aksesibilitas native-nya masing-masing:

macOS: AX (Accessibility) — mengirim event tanpa menggerakkan kursor asli
Windows: UIAutomation — input tidak mencuri fokus
Linux: AT-SPI (X11 & Wayland) — tidak mengganggu aplikasi foreground Anda

Prinsip utamanya: jangan pernah memaksa jendela ke foreground. Penasaran kenapa ini penting? Lihat kontrak no-foreground.

Cara Mengaktifkan — Dua Pilihan

Opsi 1: Baris perintah langsung (paling mudah)

hermes computer-use install

Lalu verifikasi:

hermes computer-use status

Opsi 2: Pengaturan interaktif

hermes tools

Pilih 🖱️ Computer Use (macOS/Windows/Linux) dari daftar—installer yang sama akan dijalankan secara otomatis.

Izin Setelah Instalasi

Beri terminal (atau Aplikasi Hermes) beberapa izin:

macOS: System Settings → Privacy & Security → aktifkan Accessibility dan Screen Recording. Tidak yakin yang mana? Jalankan hermes computer-use doctor—alat ini akan memberi tahu persis apa yang kurang.
Windows: Penggunaan lokal tidak perlu izin tambahan. Untuk akses remote SSH, ikuti panduan Windows-SSH.
Linux: Atur DISPLAY (X11) atau XDG_SESSION_TYPE=wayland (Wayland memerlukan jembatan XWayland). Pastikan AT-SPI berjalan (GNOME/KDE mengaktifkannya secara default).

Mulai Menggunakannya

Setelah instalasi & izin selesai, mulai chat dengan toolset:

hermes -t computer_use chat

Atau tambahkan computer_use ke ~/.hermes/config.yaml di bawah toolsets untuk mengaktifkannya otomatis di setiap sesi.

Hermes memetakan sistem persetujuan yang sudah ada ke mode daemon immutable milik cua-driver—jadi tidak ada toggle izin kedua yang perlu diingat. Alur setujui/tolak yang sudah Anda kenal tetap berlaku. Sebelum AI menyentuh layar Anda, ia akan meminta izin terlebih dahulu. Aman dan sederhana.

Ringkasan & Tips Praktis

Intinya: Computer Use = AI bekerja di “salinan latar belakang” layar Anda sementara Anda tetap melakukan hal Anda sendiri.

Tips pro: Sebelum tugas nyata pertama Anda, jalankan hermes computer-use doctor untuk memverifikasi izin. Jika klik tidak berhasil, 90% penyebabnya adalah akses Screen Recording atau Accessibility yang kurang—jangan instal ulang, cukup periksa diagnostiknya. Selain itu, uji pengetikan dan pengguliran di jendela notepad kosong terlebih dahulu. Setelah nyaman di sana, baru lepaskan untuk aplikasi sungguhan.