주요 검색엔진 크롤러의 종류
구글은 용도에 따라 여러 크롤러를 운영합니다. 일반 검색용 Googlebot에는 스마트폰용과 데스크톱용이 있으며, 모바일 우선 색인에 따라 대부분의 사이트는 스마트폰용 Googlebot이 주로 방문합니다. 이미지·동영상 수집용 크롤러도 따로 있습니다.
최근에는 LLM 서비스의 크롤러도 늘었습니다. 크롤러마다 user-agent 이름이 달라서 robots.txt에서 크롤러별로 접근을 허용하거나 차단할 수 있습니다.
관련 용어
크롤링 · 색인
크롤링
검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.
크롤링 · 색인
robots.txt
사이트 루트에 두는 텍스트 파일로, 크롤러가 어떤 경로를 수집해도 되는지(Allow)·안 되는지(Disallow) 지시합니다. 크롤링을 제어할 뿐 색인을 막는 장치는 아니므로, 색인을 막으려면 noindex를 씁니다.
웹 기초
렌더링
HTML·CSS·자바스크립트를 해석해 실제 화면을 그려내는 과정입니다. 구글은 크롤링한 페이지의 자바스크립트를 실행해 렌더링한 뒤 그 결과를 색인하므로, 자바스크립트로만 만들어지는 콘텐츠는 반영이 늦거나 누락될 수 있습니다.
GEO · AI
LLM
대규모 언어 모델. 방대한 텍스트를 학습해 문장을 이해하고 생성하는 AI 모델로 GPT, Gemini, Claude 등이 있습니다. 생성형 AI 검색이 답변을 만드는 기반이며, GEO가 최적화 대상으로 삼는 엔진입니다.