크롤러빌리티를 떨어뜨리는 원인
- 어떤 페이지에서도 링크되지 않은 고아 페이지
- 자바스크립트 실행이나 버튼 클릭 후에만 나타나는 링크와 콘텐츠
- robots.txt의 잘못된 Disallow 규칙으로 막힌 중요 경로
- 느린 서버 응답과 잦은 5xx 오류
- 파라미터 조합이나 패싯네비게이션으로 끝없이 생성되는 URL
특히 마지막 항목처럼 수집할 URL이 지나치게 많으면, 크롤러가 가치 없는 URL에 시간을 쓰느라 정작 중요한 페이지를 늦게 방문합니다.
크롤러빌리티를 높이는 방법
중요한 페이지일수록 홈에서 적은 클릭 수로 닿도록 내부링크 구조를 설계하고, 링크는 일반 <a href> 태그로 작성합니다. 콘텐츠는 서버에서 완성된 HTML로 내려주는 SSR 방식이 크롤러가 읽기 가장 쉽습니다.
점검은 사이트 크롤링 도구로 사이트 전체를 돌려 고아 페이지와 클릭 깊이를 확인하고, 서치콘솔의 페이지 색인 생성 보고서와 비교하는 순서로 진행합니다. 서버 로그를 함께 보면 Googlebot이 아예 방문하지 않는 영역도 찾을 수 있습니다. 콘텐츠를 늘리기 전에 크롤러빌리티부터 확보해야 새 콘텐츠도 제때 평가받습니다.
크롤링 · 색인검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.
링크같은 사이트 안의 페이지끼리 연결한 링크입니다. 크롤러가 페이지를 발견하는 경로이자, 어떤 페이지가 중요한지 검색엔진에 알려주는 신호입니다. 메뉴, 브레드크럼, 본문 링크로 구성합니다.
크롤링 · 색인사이트 루트에 두는 텍스트 파일로, 크롤러가 어떤 경로를 수집해도 되는지(Allow)·안 되는지(Disallow) 지시합니다. 크롤링을 제어할 뿐 색인을 막는 장치는 아니므로, 색인을 막으려면 noindex를 씁니다.
웹 기초HTML·CSS·자바스크립트를 해석해 실제 화면을 그려내는 과정입니다. 구글은 크롤링한 페이지의 자바스크립트를 실행해 렌더링한 뒤 그 결과를 색인하므로, 자바스크립트로만 만들어지는 콘텐츠는 반영이 늦거나 누락될 수 있습니다.
크롤링 · 색인검색엔진이 한 사이트에서 일정 기간 크롤링하는 URL의 양입니다. 서버가 감당할 수 있는 한도와 검색엔진의 크롤링 수요로 정해지며, 대형 사이트일수록 관리가 중요합니다. 중복·저품질 URL이 많으면 중요한 페이지의 크롤링이 늦어집니다.
