크롤링과 색인의 차이
크롤링은 페이지를 가져오는 단계이고, 색인은 가져온 내용을 분석해 검색 결과에 쓸 수 있게 저장하는 단계입니다. 크롤링된 페이지가 모두 색인되지는 않습니다. 검색엔진은 내용이 빈약하거나 다른 페이지와 중복된다고 판단하면 색인하지 않거나, 여러 URL 가운데 하나만 대표로 골라 색인합니다.
중복 페이지 가운데 대표 URL을 정하는 과정을 표준화(canonicalization)라고 하며, 캐노니컬 태그는 이때 참고하는 신호 중 하나입니다.
색인 상태를 확인하는 방법
서치콘솔의 페이지 색인 생성 보고서는 색인된 페이지와 색인되지 않은 페이지를 사유별로 보여줍니다. "크롤링됨 - 현재 색인이 생성되지 않음"은 구글이 페이지를 읽었지만 색인할 가치를 낮게 본 경우가 많고, "발견됨 - 현재 색인이 생성되지 않음"은 URL만 알고 아직 방문하지 않은 상태입니다.
개별 페이지는 URL 검사 도구로 확인하고 색인 생성을 요청할 수 있습니다. site: 검색 연산자로 나오는 결과 수는 대략적인 값이라 정확한 색인 수 확인에는 맞지 않습니다. 색인되면 안 되는 페이지는 noindex로 제외하고, 불필요한 페이지가 과도하게 쌓이는 인덱스 블로트도 함께 관리합니다.
크롤링 · 색인검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.
크롤링 · 색인해당 페이지를 검색 결과에 표시하지 말라는 지시입니다. 메타 로봇 태그나 X-Robots-Tag HTTP 헤더로 지정합니다. 크롤러가 페이지를 읽어야 지시를 확인할 수 있으므로, robots.txt로 막은 페이지에는 효과가 없습니다.
크롤링 · 색인<link rel="canonical">로 중복·유사 페이지 가운데 대표 URL을 검색엔진에 알려주는 태그입니다. 평가를 대표 URL에 모으고 중복 색인을 줄입니다. 구글은 이를 강한 힌트로 다룰 뿐 반드시 따르지는 않습니다.
크롤링 · 색인검색 가치가 낮은 페이지(파라미터 URL, 빈 태그 페이지, 내부 검색 결과 등)가 대량으로 색인된 상태입니다. 크롤버젯을 낭비하고 사이트 전체 품질 평가를 떨어뜨릴 수 있어 noindex나 페이지 정리로 줄입니다.
크롤링 · 색인같거나 거의 같은 내용이 여러 URL에 있는 상태입니다. 사이트 내부(파라미터, 인쇄용 페이지)와 외부(무단 복제, 같은 상품 설명) 모두에서 생깁니다. 그 자체로 페널티는 아니지만 평가가 분산되고 원하지 않는 URL이 노출될 수 있습니다.
