크롤버젯을 관리해야 하는 사이트
구글은 크롤버젯을 서버가 감당할 수 있는 크롤링 한도와, 구글이 그 사이트를 얼마나 크롤링하고 싶어 하는지(크롤링 수요)의 조합으로 설명합니다. 페이지 수가 아주 많거나 내용이 자주 바뀌는 대형 사이트가 아니라면 크게 신경 쓸 필요가 없다는 것이 구글의 설명입니다.
반대로 쇼핑몰·부동산·구인 사이트처럼 패싯네비게이션과 파라미터로 URL이 대량 생성되는 구조라면 크롤버젯이 실제 병목이 됩니다.
크롤버젯 낭비를 줄이는 방법
- 검색 가치가 없는 URL 패턴은 robots.txt로 크롤링을 막습니다.
- 없는 페이지가 200을 반환하는 소프트404를 정상적인 404·410 응답으로 바꿉니다.
- 리다이렉트 체인을 줄이고 내부링크가 최종 URL을 직접 가리키게 합니다.
- 서버 응답 속도를 개선합니다. 응답이 빠르고 안정적이면 구글이 크롤링 한도를 높일 수 있습니다.
서치콘솔 설정 메뉴의 크롤링 통계 보고서에서 응답 코드별·파일 형식별 요청 비율을 보면 크롤버젯이 어디에 쓰이고 있는지 알 수 있습니다. 단, noindex는 페이지를 읽어야 확인되므로 크롤링 자체를 줄이지는 못합니다.
크롤링 · 색인검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.
크롤링 · 색인검색 가치가 낮은 페이지(파라미터 URL, 빈 태그 페이지, 내부 검색 결과 등)가 대량으로 색인된 상태입니다. 크롤버젯을 낭비하고 사이트 전체 품질 평가를 떨어뜨릴 수 있어 noindex나 페이지 정리로 줄입니다.
마크업 · 사이트 구조쇼핑몰 목록의 색상·사이즈·가격 같은 다중 조건 필터입니다. 조합마다 URL이 생기면 크롤링할 URL이 기하급수적으로 늘어나므로, 검색 수요가 있는 조합만 색인하고 나머지는 크롤링·색인을 제한합니다.
웹 기초URL의 ? 뒤에 붙는 키=값 형태의 변수입니다. 정렬·필터·추적(utm) 등에 쓰입니다. 파라미터 조합마다 URL이 새로 생기면 중복 콘텐츠와 크롤 낭비가 생기므로 캐노니컬이나 robots.txt로 관리합니다.
크롤링 · 색인내용이 없거나 "페이지 없음"을 보여주는데도 서버가 200(정상) 상태 코드를 반환하는 페이지입니다. 검색엔진이 오류 페이지를 계속 크롤링하게 되므로, 없는 페이지는 404나 410을 반환해야 합니다.
