인덱스 블로트가 생기는 원인
대개 사이트가 의도하지 않은 URL이 자동으로 만들어지면서 생깁니다. 정렬·필터 파라미터 URL, 글이 한두 개뿐인 태그·아카이브 페이지, 사이트 내부 검색 결과 페이지, 끝없이 이어지는 페이지네이션, 테스트용 페이지 등이 대표적입니다.
이런 페이지가 많아지면 크롤버젯이 낭비되고, 서로 비슷한 페이지끼리 평가가 나뉘며, 사이트 전체에서 얇은 콘텐츠의 비율이 높아집니다.
인덱스 블로트를 진단하고 줄이는 방법
먼저 사이트에 실제로 있어야 할 페이지 수를 파악하고, 서치콘솔 페이지 색인 생성 보고서의 색인된 페이지 수와 비교합니다. 차이가 크다면 색인된 URL 목록을 내보내 어떤 패턴이 과도하게 색인되었는지 찾습니다.
처리는 패턴별로 다르게 합니다. 사용자에게는 필요하지만 검색에는 필요 없는 페이지는 noindex, 같은 내용의 변형 URL은 캐노니컬 태그, 아예 필요 없는 페이지는 삭제 후 404·410 응답이나 관련 페이지로의 리다이렉트로 정리합니다. 원인이 되는 URL 생성 자체를 막아야 다시 늘어나지 않습니다. 정리 후 색인 수가 줄어들기까지는 시간이 걸리므로 보고서 추이를 몇 주 단위로 지켜봅니다.
크롤링 · 색인크롤러가 수집한 페이지를 분석해 검색엔진의 데이터베이스에 저장하는 것, 또는 그 데이터베이스입니다. 색인된 페이지만 검색 결과에 나올 수 있으며, 서치콘솔의 페이지 색인 생성 보고서에서 상태를 확인합니다.
크롤링 · 색인해당 페이지를 검색 결과에 표시하지 말라는 지시입니다. 메타 로봇 태그나 X-Robots-Tag HTTP 헤더로 지정합니다. 크롤러가 페이지를 읽어야 지시를 확인할 수 있으므로, robots.txt로 막은 페이지에는 효과가 없습니다.
크롤링 · 색인검색엔진이 한 사이트에서 일정 기간 크롤링하는 URL의 양입니다. 서버가 감당할 수 있는 한도와 검색엔진의 크롤링 수요로 정해지며, 대형 사이트일수록 관리가 중요합니다. 중복·저품질 URL이 많으면 중요한 페이지의 크롤링이 늦어집니다.
크롤링 · 색인같거나 거의 같은 내용이 여러 URL에 있는 상태입니다. 사이트 내부(파라미터, 인쇄용 페이지)와 외부(무단 복제, 같은 상품 설명) 모두에서 생깁니다. 그 자체로 페널티는 아니지만 평가가 분산되고 원하지 않는 URL이 노출될 수 있습니다.
웹 기초URL의 ? 뒤에 붙는 키=값 형태의 변수입니다. 정렬·필터·추적(utm) 등에 쓰입니다. 파라미터 조합마다 URL이 새로 생기면 중복 콘텐츠와 크롤 낭비가 생기므로 캐노니컬이나 robots.txt로 관리합니다.
