LLM이 검색 답변을 만드는 방식
LLM은 학습한 데이터를 바탕으로 다음에 올 단어를 예측하며 문장을 만듭니다. 학습 시점 이후의 정보는 알지 못하기 때문에, ChatGPT 검색이나 구글 AI 개요 같은 서비스는 질문을 받으면 웹을 검색해 관련 페이지를 가져오고 그 내용을 근거로 답변을 생성합니다. 이렇게 외부 문서를 찾아 답변에 반영하는 방식을 검색 증강 생성(RAG)이라고 합니다.
따라서 AI 답변에 인용되려면 두 단계를 거쳐야 합니다. 먼저 AI 서비스가 쓰는 검색 시스템에 페이지가 발견되고 색인되어 있어야 하고, 다음으로 가져온 페이지 안에서 질문에 맞는 문장을 쉽게 찾을 수 있어야 합니다. 두 번째 단계를 다루는 작업이 GEO입니다.
AI 크롤러와 robots.txt
OpenAI의 GPTBot(학습용)과 OAI-SearchBot(검색용)처럼 LLM 서비스도 자체 크롤러를 운영하며, 학습용 수집과 검색 답변용 수집을 다른 크롤러로 나누는 경우가 많습니다. 그래서 robots.txt에서 크롤러별로 허용과 차단을 따로 정할 수 있습니다.
학습용 크롤러를 막으려다 검색용 크롤러까지 막으면 AI 검색 답변에 인용될 기회도 사라집니다. 구글의 경우 Google-Extended로 Gemini 학습 활용 여부를 정할 수 있지만, AI 개요는 일반 Googlebot이 수집한 색인을 사용하므로 이 설정과 관계가 없습니다. 차단 전에 각 크롤러의 용도를 확인해야 합니다.