사이트맵에 넣어야 할 URL
사이트맵에는 검색 결과에 노출되기를 원하는 대표 URL만 넣습니다. noindex 페이지, 리다이렉트되는 URL, 404 페이지, 캐노니컬 태그가 다른 URL을 가리키는 페이지가 섞여 있으면 검색엔진에 엇갈린 신호를 주게 됩니다.
파일 하나에는 URL 5만 개, 압축 전 50MB까지 담을 수 있고, 이를 넘으면 여러 사이트맵으로 나눈 뒤 사이트맵 색인 파일로 묶습니다. 구글은 <priority>와 <changefreq> 값은 사용하지 않으며, <lastmod>는 값이 실제 수정일과 일관되게 맞을 때 참고합니다.
사이트맵을 제출하고 확인하는 방법
서치콘솔의 Sitemaps 보고서에 사이트맵 주소를 제출하거나, robots.txt에 Sitemap: 줄로 위치를 적어 둡니다. 제출 후에는 보고서에서 읽기 성공 여부와 발견된 URL 수를 확인합니다.
사이트맵은 크롤링을 돕는 보조 수단일 뿐 내부링크를 대신하지 않습니다. 사이트맵에만 있고 어디에서도 링크되지 않은 페이지는 발견은 되더라도, 사이트 안에서 얼마나 중요한 페이지인지 판단할 근거가 부족합니다.
크롤링 · 색인검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.
크롤링 · 색인크롤러가 수집한 페이지를 분석해 검색엔진의 데이터베이스에 저장하는 것, 또는 그 데이터베이스입니다. 색인된 페이지만 검색 결과에 나올 수 있으며, 서치콘솔의 페이지 색인 생성 보고서에서 상태를 확인합니다.
크롤링 · 색인RSS·Atom 형식으로 사이트의 새 글과 업데이트를 정리해 배포하는 파일입니다. 구독 서비스나 검색엔진이 변경 사항을 빨리 가져갈 수 있어, 구글은 사이트맵과 함께 쓰는 것을 권합니다.
크롤링 · 색인<link rel="canonical">로 중복·유사 페이지 가운데 대표 URL을 검색엔진에 알려주는 태그입니다. 평가를 대표 URL에 모으고 중복 색인을 줄입니다. 구글은 이를 강한 힌트로 다룰 뿐 반드시 따르지는 않습니다.
크롤링 · 색인같은 콘텐츠가 여러 URL(www 유무, http/https, 끝 슬래시, 파라미터 등)로 열리는 상태를 하나의 대표 URL로 통일하는 작업입니다. 301 리다이렉트와 캐노니컬 태그로 처리해 평가 분산과 중복 색인을 막습니다.
