noindex를 거는 방법
HTML 페이지는 메타정보를 넣는 <head> 안에 <meta name="robots" content="noindex">를 씁니다. PDF처럼 HTML이 아닌 파일은 서버 응답 헤더에 X-Robots-Tag: noindex를 추가합니다. 특정 검색엔진에만 적용하려면 name 값에 googlebot처럼 크롤러 이름을 씁니다.
구글이 noindex를 확인하려면 페이지를 다시 크롤링해야 하므로, 이미 색인된 페이지는 반영되기까지 시간이 걸립니다. 급하게 검색 결과에서 감춰야 한다면 서치콘솔의 삭제 도구로 일시적으로 숨길 수 있습니다.
noindex를 쓸 때 주의할 점
- robots.txt로 함께 막지 않습니다. 크롤러가 noindex를 읽지 못합니다.
- 캐노니컬 태그와 섞어 쓰지 않습니다. 한 페이지에서 "대표 URL은 저쪽"과 "색인하지 마라"를 동시에 말하면 신호가 엇갈립니다.
- 사이트 개편 후 개발 환경에서 걸어 둔 noindex가 운영 페이지에 남아 있지 않은지 확인합니다.
감사 페이지, 내부 검색 결과, 로그인 후 화면처럼 사용자에게는 필요하지만 검색 결과에는 필요 없는 페이지가 noindex의 주된 대상입니다. 서치콘솔 페이지 색인 생성 보고서의 noindex 제외 항목에서 의도한 페이지에만 적용됐는지 확인합니다.