구글은 중복콘텐츠 자체에 페널티를 주지 않는다고 설명합니다. 같은 내용이 여러 URL에 있으면 그중 하나를 대표로 골라 색인하고 나머지는 검색 결과에서 뺄 뿐입니다. 다만 다른 사이트의 글을 복사해 대량으로 게시하는 식으로 순위를 조작하려는 경우는 스팸 정책 위반이 됩니다.
실무에서 문제가 되는 것은 페널티보다 평가 분산입니다. 링크와 신호가 여러 URL로 나뉘고, 구글이 내가 원하지 않는 URL을 대표로 고를 수 있습니다. 쇼핑몰처럼 비슷한 페이지가 많은 사이트는 대표 URL이 의도대로 선택되는지 URL 검사 도구로 주기적으로 확인합니다.
<link rel="canonical">로 중복·유사 페이지 가운데 대표 URL을 검색엔진에 알려주는 태그입니다. 평가를 대표 URL에 모으고 중복 색인을 줄입니다. 구글은 이를 강한 힌트로 다룰 뿐 반드시 따르지는 않습니다.
같은 콘텐츠가 여러 URL(www 유무, http/https, 끝 슬래시, 파라미터 등)로 열리는 상태를 하나의 대표 URL로 통일하는 작업입니다. 301 리다이렉트와 캐노니컬 태그로 처리해 평가 분산과 중복 색인을 막습니다.
URL의 ? 뒤에 붙는 키=값 형태의 변수입니다. 정렬·필터·추적(utm) 등에 쓰입니다. 파라미터 조합마다 URL이 새로 생기면 중복 콘텐츠와 크롤 낭비가 생기므로 캐노니컬이나 robots.txt로 관리합니다.
프로그램으로 웹 페이지에서 원하는 데이터를 자동 추출하는 것입니다. 경쟁사 분석이나 데이터 수집에 쓰이지만, 남의 콘텐츠를 긁어 그대로 게시하는 것은 구글 스팸 정책(스크랩 콘텐츠) 위반입니다.
크롤러가 수집한 페이지를 분석해 검색엔진의 데이터베이스에 저장하는 것, 또는 그 데이터베이스입니다. 색인된 페이지만 검색 결과에 나올 수 있으며, 서치콘솔의 페이지 색인 생성 보고서에서 상태를 확인합니다.
