크롤링 · 색인

소프트404란?

내용이 없거나 "페이지 없음"을 보여주는데도 서버가 200(정상) 상태 코드를 반환하는 페이지입니다. 검색엔진이 오류 페이지를 계속 크롤링하게 되므로, 없는 페이지는 404나 410을 반환해야 합니다.

소프트404가 생기는 대표적인 경우

  • 삭제된 상품이나 글의 URL이 "존재하지 않는 페이지입니다"라는 문구와 함께 200을 반환하는 경우
  • 검색 결과가 0건인 내부 검색·필터 페이지
  • 삭제한 페이지를 모두 홈이나 상위 카테고리로 리다이렉트하는 경우
  • 자바스크립트로 내용을 불러오다 실패해 빈 화면만 렌더링되는 경우

구글은 상태 코드가 200이어도 내용이 오류 페이지와 비슷하면 소프트404로 판단해 색인하지 않습니다.

소프트404를 확인하고 고치는 방법

서치콘솔 페이지 색인 생성 보고서의 소프트 404 항목에서 해당 URL을 확인합니다. 실제로 없는 페이지라면 서버가 404 또는 410을 반환하도록 고치고, 내용이 있는 정상 페이지인데 잘못 판정됐다면 본문이 너무 짧거나 비어 보이지 않는지 점검합니다. URL 검사 도구의 실제 URL 테스트로 구글이 본 화면을 확인하면 자바스크립트 실패로 인한 오판인지 구분할 수 있습니다.

소프트404를 방치하면 크롤러가 가치 없는 URL을 계속 방문해 크롤버젯을 쓰게 되고, 대량으로 생기면 인덱스 블로트와 같은 문제로 이어집니다. 정상적인 404페이지를 갖추는 것이 근본 해결책입니다.

관련 용어

크롤링 · 색인

404페이지

요청한 페이지가 없을 때 서버가 404 상태 코드와 함께 보여주는 페이지입니다. 404 자체는 순위 불이익이 아니지만, 내부링크가 404를 가리키지 않게 관리하고 사용자가 다른 페이지로 이동할 수 있게 안내를 두는 것이 좋습니다.

크롤링 · 색인

리다이렉트

특정 URL로 들어온 요청을 다른 URL로 자동 이동시키는 것입니다. 영구 이동은 301(308), 임시 이동은 302(307)를 씁니다. 주소 변경이나 사이트 이전 때 301로 처리해야 기존 평가가 새 URL로 이어집니다.

크롤링 · 색인

크롤버젯

검색엔진이 한 사이트에서 일정 기간 크롤링하는 URL의 양입니다. 서버가 감당할 수 있는 한도와 검색엔진의 크롤링 수요로 정해지며, 대형 사이트일수록 관리가 중요합니다. 중복·저품질 URL이 많으면 중요한 페이지의 크롤링이 늦어집니다.

크롤링 · 색인

인덱스 블로트

검색 가치가 낮은 페이지(파라미터 URL, 빈 태그 페이지, 내부 검색 결과 등)가 대량으로 색인된 상태입니다. 크롤버젯을 낭비하고 사이트 전체 품질 평가를 떨어뜨릴 수 있어 noindex나 페이지 정리로 줄입니다.

관련 서비스 → SEO/GEO 교육