robots.txt와 noindex의 차이
robots.txt는 "이 경로는 방문하지 마라"는 크롤링 지시이고, noindex는 "이 페이지를 검색 결과에 넣지 마라"는 색인 지시입니다. robots.txt로 막힌 페이지라도 다른 곳에서 링크를 받으면 내용 없이 URL만 색인될 수 있습니다.
반대로 검색 결과에서 빼고 싶은 페이지를 robots.txt로 막으면, 크롤러가 페이지 안의 noindex를 읽지 못해 오히려 색인이 남습니다. 색인 제외가 목적이라면 크롤링은 허용하고 noindex를 거는 것이 맞습니다. 구글은 robots.txt 안에 쓴 noindex 규칙을 지원하지 않습니다.
robots.txt 작성 시 자주 하는 실수
- 개발 서버에서 쓰던 Disallow: / 를 그대로 운영 서버에 올려 사이트 전체를 차단하는 경우
- 페이지를 그리는 데 필요한 CSS·자바스크립트 파일 경로를 막아 렌더링을 방해하는 경우
- 서브도메인마다 robots.txt가 따로 필요하다는 점을 놓치는 경우
- 감추고 싶은 경로를 robots.txt에 적어 오히려 위치를 알려주는 경우
robots.txt는 누구나 열어볼 수 있는 공개 파일이며 따르지 않는 크롤러도 있습니다. 비공개 페이지는 로그인이나 접근 제한으로 보호해야 합니다. 작성 후에는 서치콘솔의 robots.txt 보고서에서 구글이 읽어 간 내용과 오류를 확인합니다.