Computer Use — AIがPCを操作

想像してみてください。レポートに没頭しているあなたの横で、AIアシスタントが静かにフォルダを整理し、フォームに入力し、ウェブページをスクロールしている——まるで「仮想スクリーン」上で働く、あなたの作業の流れを一切邪魔しない見えない同僚のように。

それがまさに、Hermes AgentのComputer Useが実現することです。AIがあなたの画面の内容を見て、クリック、タイピング、スクロール、ドラッグをシミュレートします——マウスを動かしたり、キーボードフォーカスを奪ったり、仮想デスクトップを切り替えたりすることなく。あなたとAIは同じマシン上で、完全に独立して並行して作業できます。

対応しているAIモデルは？

ツールを呼び出せるモデルならほぼすべて——Claude、GPT、Gemini、ローカルのオープンソースモデルでもOKです。Hermesは独自フォーマットに縛り付けません。Anthropic独自の構文を学ぶ必要もありません。お気に入りのモデルを接続するだけで使えます。

どうやって実現しているの？

Hermesはcua-driverというオープンソースのドライバーを使用します。アクセシビリティインターフェースを通じて画面上の要素（ボタン、入力ボックス、メニュー）を読み取り、ターゲットウィンドウにシミュレートされた操作を送信します。内部では、各OSのネイティブなアクセシビリティレイヤーを使用しています：

• macOS: AX（アクセシビリティ）— 実際のカーソルを動かさずにイベントを送信
• Windows: UIAutomation — 入力がフォーカスを奪わない
• Linux: AT‑SPI（X11 & Wayland）— フォアグラウンドを邪魔しない

核となる原則：ウィンドウをフォアグラウンドに強制しない。なぜそれが重要なのか気になりますか？フォアグラウンド禁止契約をご覧ください。

有効化する方法 — 2つの選択肢

オプション1: コマンドラインで直接（最も簡単）

hermes computer-use install

次に確認：

hermes computer-use status

オプション2: 対話式セットアップ

hermes tools

リストから🖱️ Computer Use (macOS/Windows/Linux)を選択——同じインストーラーが自動的に実行されます。

インストール後の権限設定

ターミナル（またはHermes App）にいくつかの権限を付与してください：

• macOS: システム設定 → プライバシーとセキュリティ → アクセシビリティと画面収録を有効化。どれか分からない？hermes computer-use doctorを実行すれば、不足しているものが正確に表示されます。
• Windows: ローカル使用では追加設定は不要。SSHリモートアクセスの場合は、Windows‑SSHガイドに従ってください。
• Linux: DISPLAY（X11）またはXDG_SESSION_TYPE=wayland（Waylandの場合はXWaylandブリッジが必要）を設定。AT‑SPIが動作していることを確認（GNOME/KDEではデフォルトで有効）。

使い始める

インストールと権限設定後、ツールセット付きでチャットを起動：

hermes -t computer_use chat

または、~/.hermes/config.yamlのtoolsetsにcomputer_useを追加すれば、毎セッション自動的に有効化されます。

権限モードとブラウザログイン

Hermesは既存の承認システムをcua‑driverのイミュータブルデーモンモードにマッピングしています——つまり、覚えるべき追加の権限トグルはありません。すでに使い慣れた承認/拒否フローがそのまま適用されます。AIが画面に触れる前に、まずあなたに確認します。安全でシンプルです。

まとめと実践的なヒント

結論： Computer Use = AIがあなたの画面の「バックグラウンドコピー」上で作業し、あなたは自分の作業を続けられる。

プロのヒント： 最初の実際のタスクの前に、hermes computer-use doctorを実行して権限を確認しましょう。クリックが効かない場合、90%は画面収録またはアクセシビリティの権限不足が原因です——再インストールせずに、診断結果を確認してください。また、最初は空白のメモ帳ウィンドウでタイピングとスクロールをテストしましょう。そこで慣れてから、実際のアプリで使ってみてください。