크롤링 · 색인 용어

검색엔진이 페이지를 발견하고 수집해 색인하기까지의 과정과, 그 과정을 제어하는 장치에 관한 용어입니다.

크롤링

검색엔진 로봇이 링크와 사이트맵을 따라 웹 페이지를 방문해 내용을 수집하는 과정입니다. 검색 노출의 첫 단계로, 크롤링되지 않은 페이지는 색인도 순위도 받을 수 없습니다.

웹 페이지를 자동으로 방문해 수집하는 프로그램(봇·스파이더)입니다. 구글의 Googlebot, 네이버의 Yeti가 대표적이며, 최근에는 GPTBot처럼 AI 학습·검색용 크롤러도 늘었습니다.

크롤러가 수집한 페이지를 분석해 검색엔진의 데이터베이스에 저장하는 것, 또는 그 데이터베이스입니다. 색인된 페이지만 검색 결과에 나올 수 있으며, 서치콘솔의 페이지 색인 생성 보고서에서 상태를 확인합니다.

크롤러가 사이트의 페이지를 얼마나 쉽게 찾아 수집할 수 있는지를 나타내는 정도입니다. 내부링크 구조, robots.txt, 서버 응답, 렌더링 방식이 영향을 줍니다. 크롤러빌리티가 낮으면 좋은 콘텐츠도 색인되지 않습니다.

검색엔진이 한 사이트에서 일정 기간 크롤링하는 URL의 양입니다. 서버가 감당할 수 있는 한도와 검색엔진의 크롤링 수요로 정해지며, 대형 사이트일수록 관리가 중요합니다. 중복·저품질 URL이 많으면 중요한 페이지의 크롤링이 늦어집니다.

검색 가치가 낮은 페이지(파라미터 URL, 빈 태그 페이지, 내부 검색 결과 등)가 대량으로 색인된 상태입니다. 크롤버젯을 낭비하고 사이트 전체 품질 평가를 떨어뜨릴 수 있어 noindex나 페이지 정리로 줄입니다.

RSS·Atom 형식으로 사이트의 새 글과 업데이트를 정리해 배포하는 파일입니다. 구독 서비스나 검색엔진이 변경 사항을 빨리 가져갈 수 있어, 구글은 사이트맵과 함께 쓰는 것을 권합니다.

사이트 루트에 두는 텍스트 파일로, 크롤러가 어떤 경로를 수집해도 되는지(Allow)·안 되는지(Disallow) 지시합니다. 크롤링을 제어할 뿐 색인을 막는 장치는 아니므로, 색인을 막으려면 noindex를 씁니다.

해당 페이지를 검색 결과에 표시하지 말라는 지시입니다. 메타 로봇 태그나 X-Robots-Tag HTTP 헤더로 지정합니다. 크롤러가 페이지를 읽어야 지시를 확인할 수 있으므로, robots.txt로 막은 페이지에는 효과가 없습니다.

같은 콘텐츠가 여러 URL(www 유무, http/https, 끝 슬래시, 파라미터 등)로 열리는 상태를 하나의 대표 URL로 통일하는 작업입니다. 301 리다이렉트와 캐노니컬 태그로 처리해 평가 분산과 중복 색인을 막습니다.

특정 URL로 들어온 요청을 다른 URL로 자동 이동시키는 것입니다. 영구 이동은 301(308), 임시 이동은 302(307)를 씁니다. 주소 변경이나 사이트 이전 때 301로 처리해야 기존 평가가 새 URL로 이어집니다.

요청한 페이지가 없을 때 서버가 404 상태 코드와 함께 보여주는 페이지입니다. 404 자체는 순위 불이익이 아니지만, 내부링크가 404를 가리키지 않게 관리하고 사용자가 다른 페이지로 이동할 수 있게 안내를 두는 것이 좋습니다.

내용이 없거나 "페이지 없음"을 보여주는데도 서버가 200(정상) 상태 코드를 반환하는 페이지입니다. 검색엔진이 오류 페이지를 계속 크롤링하게 되므로, 없는 페이지는 404나 410을 반환해야 합니다.