Websuche & Extraktion — KI surft im Web

Websuche & Extraktion — KI surft im Web

Stell dir vor, du bittest einen superschlauen Assistenten, „den aktuellen Preis dieses Gadgets zu finden, das Datenblatt zu lesen und es für mich zusammenzufassen.“ Genau das kann Hermes Agent mit seinen Web-Such- und Extraktions-Tools erledigen. Es ist, als würdest du deiner KI gleichzeitig einen Browser, einen Textmarker und ein Notizbuch geben.

Die fünf Backend-Anbieter: Die Suchmaschinen-Auswahl deiner KI

Hermes verlässt sich nicht nur auf einen einzigen Weg, um das Web zu durchsuchen. Es unterstützt fünf verschiedene „Backends“ – stell sie dir als verschiedene Suchmaschinen und Seitenlese-Dienste vor. Du kannst eines auswählen oder Hermes automatisch basierend auf deinen vorhandenen API-Schlüsseln wählen lassen.

Hier die Kurzübersicht:

Backend	Was es am besten kann
Firecrawl (Standard)	Sucht und liest Seiten. Großartiger Allrounder.
SearXNG	Kostenlos, privat, selbst gehostet. Nur Suche.
Parallel	Schnelle, multimodale Suche.
Tavily	Für KI-Agenten optimiert.
Exa	Großartig für Nischensuchen (Paper, Nachrichten, Unternehmen).

Einrichtung: Es ist nur eine Konfigurationsdatei

Du musst keinen Code schreiben. Bearbeite einfach deine config.yaml-Datei wie folgt:

web:
  backend: firecrawl  # oder searxng, parallel, tavily, exa

Profi-Tipp: Du kannst kombinieren! Verwende ein kostenloses Such-Backend und ein kostenpflichtiges Extraktions-Backend:

web:
  search_backend: "searxng"      # Kostenlose Suche
  extract_backend: "firecrawl"   # Zuverlässiges Seitenlesen

Der „Ohne-Schlüssel“-Trick: SearXNG für Sparfüchse

Wenn du nicht für einen API-Schlüssel bezahlen möchtest, ist SearXNG dein Freund. Es ist eine kostenlose, quelloffene Metasuchmaschine, die für dich über 70 Suchmaschinen abfragt. Weise Hermes einfach auf deine eigene Instanz hin:

web:
  search_backend: "searxng"
  # Setze dies in deinen Umgebungsvariablen:
  # SEARXNG_URL=http://localhost:8080

Wichtiger Hinweis: SearXNG sucht nur. Um den Inhalt einer Seite tatsächlich zu lesen, benötigst du einen separaten Extraktions-Anbieter (wie Firecrawl), der in extract_backend festgelegt ist.

Der Browser: Hände und Augen deiner KI

Sobald deine KI eine Seite gefunden hat, muss sie sie „sehen“ können. Hier kommen die Browser-Einstellungen ins Spiel. Du kannst steuern, wie er sich verhält:

browser:
  inactivity_timeout: 120   # Leeren Browser nach 2 Minuten Inaktivität automatisch schließen
  command_timeout: 30       # Nach 30 Sekunden eine Seite aufgeben
  record_sessions: false    # Auf true setzen, um Videoaufnahmen der KI-Browsing-Sitzungen zu erstellen

Fortgeschrittener Tipp: Wenn du deinen eigenen Browser (z. B. Chrome) geöffnet hast, kannst du Hermes sogar direkt über einen speziellen „CDP“-Link damit verbinden. So kann die KI deine bestehenden, angemeldeten Sitzungen nutzen.

Zusammenfassung & Praxistipp

Die Web-Tools von Hermes Agent sind wie ein Schweizer Taschenmesser für das Internet. Du kannst Informationen von jeder Seite suchen, lesen und extrahieren – alles durch einfache Konfiguration. Der Schlüssel ist, mit dem Standard (Firecrawl) zu starten – es funktioniert einfach. Wenn du auf eine Bezahlschranke stößt oder Geld sparen willst, wechsle für die Suche zu SearXNG und kombiniere es mit einem separaten Extraktions-Backend (wie Firecrawl).

Mein Tipp Nr. 1: Fang einfach an. Setze backend: firecrawl, füge deinen FIRECRAWL_API_KEY hinzu und führe eine Testsuchen durch. Sobald du siehst, dass es funktioniert, experimentiere mit der Kombination von Backends, um Kosten oder Geschwindigkeit zu optimieren. Viel Spaß beim KI-Surfen! 🌊