크롤링과 스크래핑의 차이
크롤링은 링크를 따라 페이지를 넓게 수집하는 일이고, 스크래핑은 가져온 페이지에서 가격·제목·리뷰처럼 필요한 데이터만 뽑아내는 일입니다. 실제로는 함께 쓰이는 경우가 많아, 크롤러가 페이지를 가져오면 스크래퍼가 HTML을 파싱해 원하는 항목을 추출합니다.
SEO 실무에서도 자주 쓰입니다. 경쟁 사이트의 타이틀과 제목 구조를 모으거나, 내 사이트 전체의 메타정보와 캐노니컬 설정을 한 번에 점검하는 사이트 크롤링 도구가 이런 방식으로 동작합니다.
스크래핑할 때와 당할 때 주의할 점
다른 사이트의 콘텐츠를 스크래핑해 내 사이트에 그대로 게시하는 것은 구글 스팸 정책의 스크랩 콘텐츠에 해당하며 저작권 문제도 생길 수 있습니다. 데이터를 수집할 때는 상대 사이트의 robots.txt와 이용약관을 확인하고, 서버에 부담을 주지 않도록 요청 간격을 둡니다.
반대로 내 콘텐츠가 무단 복제되었다면, 구글은 대개 원본을 알아보지만 복제 사이트가 더 높게 노출되는 경우도 있습니다. 이때는 구글에 저작권 침해 신고를 해 검색 결과에서 삭제를 요청할 수 있습니다. 이런 상황은 사이트 외부에서 생기는 중복콘텐츠의 대표적인 예입니다.
크롤링 · 색인웹 페이지를 자동으로 방문해 수집하는 프로그램(봇·스파이더)입니다. 구글의 Googlebot, 네이버의 Yeti가 대표적이며, 최근에는 GPTBot처럼 AI 학습·검색용 크롤러도 늘었습니다.
크롤링 · 색인같거나 거의 같은 내용이 여러 URL에 있는 상태입니다. 사이트 내부(파라미터, 인쇄용 페이지)와 외부(무단 복제, 같은 상품 설명) 모두에서 생깁니다. 그 자체로 페널티는 아니지만 평가가 분산되고 원하지 않는 URL이 노출될 수 있습니다.
품질 · 정책검색 순위를 조작하려고 사용자를 속이거나 검색 시스템을 악용하는 행위입니다. 구글 스팸 정책은 클로킹, 링크 스팸, 키워드 스터핑, 대량 생성 콘텐츠 남용 등을 명시하며, 적발되면 순위 하락이나 색인 제외로 이어집니다.
웹 기초HTML 같은 문서를 읽어 태그와 구조를 분석하고 프로그램이 다룰 수 있는 형태로 바꾸는 과정입니다. 검색엔진은 페이지를 파싱해 제목·본문·링크·메타정보를 추출하며, HTML 오류가 심하면 의도와 다르게 해석될 수 있습니다.
크롤링 · 색인사이트 루트에 두는 텍스트 파일로, 크롤러가 어떤 경로를 수집해도 되는지(Allow)·안 되는지(Disallow) 지시합니다. 크롤링을 제어할 뿐 색인을 막는 장치는 아니므로, 색인을 막으려면 noindex를 씁니다.
