웹 검색 및 추출 — AI 웹 서핑

슈퍼똑똑한 비서에게 “그 가젯 최신 가격 찾아보고, 스펙 시트 읽고, 정리해줘”라고 부탁하는 상상을 해보세요. Hermes Agent가 바로 그걸 할 수 있습니다. 웹 검색 및 추출(web search and extract) 도구 덕분이죠. 마치 AI에게 브라우저, 형광펜, 메모장을 한 번에 쥐어준 셈입니다.

다섯 가지 백엔드 제공자: AI의 검색 엔진 선택권

Hermes는 단 한 가지 방식으로만 웹을 검색하지 않습니다. 다섯 가지 서로 다른 “백엔드”를 지원하는데, 쉽게 말해 각각 다른 검색 엔진이자 페이지 읽기 서비스라고 생각하면 됩니다. 하나를 선택하거나, 보유한 API 키에 따라 Hermes가 자동으로 골라주도록 둘 수도 있습니다.

간단히 정리하면 다음과 같습니다.

백엔드	가장 강점인 분야
Firecrawl (기본값)	검색 및 페이지 읽기. 만능형.
SearXNG	무료, 프라이빗, 자체 호스팅. 검색 전용.
Parallel	빠르고, 다중 모드 검색.
Tavily	AI 에이전트에 최적화.
Exa	틈새 검색(논문, 뉴스, 기업)에 강점.

설정 방법: 그냥 설정 파일 하나면 끝

코드를 작성할 필요 없습니다. config.yaml 파일을 다음과 같이 수정하기만 하면 됩니다.

web:
  backend: firecrawl  # 또는 searxng, parallel, tavily, exa

프로 팁: 조합도 가능합니다! 무료 검색 백엔드와 유료 추출 백엔드를 함께 쓸 수 있어요.

web:
  search_backend: "searxng"      # 무료 검색
  extract_backend: "firecrawl"   # 믿을 수 있는 페이지 읽기

“키 없이” 사용하는 꼼수: 알뜰파를 위한 SearXNG

API 키에 비용을 지불하고 싶지 않다면, SearXNG가 좋은 친구가 되어줍니다. 70개 이상의 검색 엔진을 대신 조회해주는 무료 오픈소스 메타 검색 엔진이죠. Hermes를 자신의 인스턴스에 연결만 하면 됩니다.

web:
  search_backend: "searxng"
  # 환경 변수에 다음을 설정하세요:
  # SEARXNG_URL=http://localhost:8080

주의사항: SearXNG는 검색만 합니다. 실제로 페이지 내용을 읽으려면 extract_backend에 별도의 추출 제공자(예: Firecrawl)를 설정해야 합니다.

브라우저: AI의 손과 눈

AI가 페이지를 찾으면 이제 그 페이지를 “볼” 수 있어야 합니다. 이때 브라우저 설정이 필요합니다. 동작 방식을 제어할 수 있죠.

browser:
  inactivity_timeout: 120   # 2분간 사용 없으면 브라우저 자동 종료
  command_timeout: 30       # 30초 지나면 해당 페이지 포기
  record_sessions: false    # true로 설정하면 AI의 브라우징 영상 녹화

고급 팁: 직접 브라우저(예: Chrome)를 열어둔 상태라면, 특수한 “CDP” 링크를 사용해 Hermes를 해당 브라우저에 직접 연결할 수도 있습니다. 이러면 AI가 이미 로그인된 세션을 활용할 수 있습니다.

요약 및 실용 팁

Hermes Agent의 웹 도구는 인터넷을 위한 스위스 아미 나이프와 같습니다. 간단한 설정만으로 어떤 페이지든 검색하고, 읽고, 정보를 추출할 수 있습니다. 핵심은 기본값(Firecrawl)으로 시작하는 것입니다. 바로 작동하니까요. 유료 장벽에 부딪히거나 비용을 아끼고 싶다면, 검색은 SearXNG로 전환하고 별도의 추출 백엔드(예: Firecrawl)와 함께 사용하세요.

제가 드리는 최고의 팁 #1: 간단하게 시작하세요. backend: firecrawl로 설정하고, FIRECRAWL_API_KEY를 추가한 뒤 테스트 검색을 실행해보세요. 작동하는 것을 확인한 다음, 비용이나 속도 최적화를 위해 백엔드 조합을 실험해보세요. 즐거운 AI 서핑 되세요! 🌊

---