검색엔진이 크롤링할 페이지를 찾는 방법
검색엔진은 이미 알고 있는 페이지의 링크를 따라가거나, 사이트 운영자가 제출한 사이트맵을 읽어 새 URL을 발견합니다. 발견한 URL은 바로 수집되지 않고 대기열에 쌓였다가, 사이트의 중요도와 서버 상태에 따라 순서대로 방문됩니다.
구글 크롤러는 일반 <a href> 링크를 따라갑니다. 버튼 클릭이나 폼 입력, 스크롤이 있어야 나타나는 링크는 발견하지 못할 수 있으므로 중요한 페이지는 HTML 링크로 연결해야 합니다.
크롤링이 잘 되고 있는지 확인하는 방법
- 서치콘솔의 URL 검사 도구로 특정 페이지의 마지막 크롤링 날짜와 구글이 읽은 HTML을 확인합니다.
- 설정 메뉴의 크롤링 통계 보고서에서 하루 요청 수, 평균 응답 시간, 서버 오류 비율을 봅니다.
- 서버 로그에서 Googlebot이 실제로 어떤 URL을 얼마나 자주 방문하는지 확인합니다.
서버가 5xx 오류나 429(요청 과다) 응답을 자주 보내면 구글은 크롤링 속도를 스스로 낮춥니다. 크롤링 문제는 곧 색인 지연으로 이어지기 때문에, 새 페이지 반영이 늦다면 크롤링 단계부터 점검합니다. URL 검사 도구에서 색인 생성을 요청할 수도 있지만, 요청이 곧바로 크롤링을 보장하지는 않습니다.
크롤링 · 색인웹 페이지를 자동으로 방문해 수집하는 프로그램(봇·스파이더)입니다. 구글의 Googlebot, 네이버의 Yeti가 대표적이며, 최근에는 GPTBot처럼 AI 학습·검색용 크롤러도 늘었습니다.
크롤링 · 색인크롤러가 수집한 페이지를 분석해 검색엔진의 데이터베이스에 저장하는 것, 또는 그 데이터베이스입니다. 색인된 페이지만 검색 결과에 나올 수 있으며, 서치콘솔의 페이지 색인 생성 보고서에서 상태를 확인합니다.
크롤링 · 색인크롤러가 사이트의 페이지를 얼마나 쉽게 찾아 수집할 수 있는지를 나타내는 정도입니다. 내부링크 구조, robots.txt, 서버 응답, 렌더링 방식이 영향을 줍니다. 크롤러빌리티가 낮으면 좋은 콘텐츠도 색인되지 않습니다.
크롤링 · 색인검색엔진이 한 사이트에서 일정 기간 크롤링하는 URL의 양입니다. 서버가 감당할 수 있는 한도와 검색엔진의 크롤링 수요로 정해지며, 대형 사이트일수록 관리가 중요합니다. 중복·저품질 URL이 많으면 중요한 페이지의 크롤링이 늦어집니다.
크롤링 · 색인색인 대상 URL 목록을 XML로 정리해 검색엔진에 알려주는 파일입니다. 서치콘솔에 제출하면 크롤러가 새 페이지나 수정된 페이지를 빨리 발견하는 데 도움이 됩니다. 색인을 보장하지는 않습니다.
