사이트에 글이 100편, 300편씩 쌓이면 전체 내용을 기억하기 어렵습니다. “이 주제는 예전에 쓴 것 같은데?” “비슷한 글이 너무 많은 것 아닌가?” “고객이 묻는 질문에 답하는 글은 있나?” 이런 문제를 살펴볼 때 임베딩이라는 기술을 활용할 수 있습니다. 임베딩은 문장의 의미를 숫자로 바꾸는 작업입니다. 글을 숫자로 바꾸면, 내용이 비슷한 글끼리 가까이 있는지 비교할 수 있습니다. 쉽게 말하면 많은 글을 내용별로 분류하는 데 쓰는 도구라고 할 수 있습니다.

AI 검색 시스템은 긴 문서를 필요에 따라 작은 단위로 나누어 처리합니다. 이렇게 나뉜 정보 단위를 흔히 ‘청크(chunk)’라고 부릅니다. 사용자가 질문하면 시스템은 문서 전체보다 질문과 관련 있다고 판단한 청크를 먼저 찾습니다. 따라서 원문 전체로 읽을 때는 훌륭한 글도, 일부만 떼어 놓으면 뜻을 알 수 없는 글이 될 수 있습니다. 이 사실을 글로만 설명하면 잘 와닿지 않습니다. 그래서 실제 기업 원고에서 반복해서 나타나는 세 가지 유형을 골라 설명해드릴게요. 앞뒤 문맥을 모두 지운 뒤에도 각각의 조각이 독립적으로 의미를 전달하는지 확인해보는 실험이죠.