RAG 도입이 생각보다 오래 걸리는 이유
목차
요즘 사내 챗봇이나 AI 검색을 도입할 때 빠지지 않고 등장하는 기술이 RAG입니다.
쉽게 말해 AI에게 오픈북 시험을 치르게 하는 방식입니다. AI가 질문에 답하기 전에 관련된 사내 문서나 자료를 먼저 찾아 펼쳐 보고, 그 내용을 근거로 대답하게 만드는 것이죠.
요즘은 LangChain이나 Spring AI 같은 좋은 도구가 많아서 그럴싸한 프로토타입은 하루이틀이면 뚝딱 만듭니다. 문제는 그 다음입니다. 막상 테스트해 보면 정답률이 65% 안팎에 그치거든요.
나머지 35%를 채우는 데는 왜 그렇게 오랜 시간이 걸릴까요? 실제 서비스에서 겪을 수 있는 몇 가지 이유를 정리했습니다.
AI가 읽기 좋게 문서부터 정리해야 합니다
AI에게 자료를 찾아보라고 던져주기 전에, AI가 읽을 수 있는 형태로 문서를 손질하는 작업이 가장 먼저 필요합니다.
1. 문서 형식이 제각각이라 다듬는 데 손이 많이 갑니다
회사의 자료는 HWP, 엑셀, PDF, 마크다운, 텍스트 파일 등 온갖 형태로 흩어져 있습니다. 파일마다 글자를 뽑아내는 방법부터 다릅니다.
게다가 문서 하나가 수십만 자에 달하면 AI가 한 번에 읽을 수 있는 분량을 넘어버립니다. 결국 문서를 검색하기 좋은 크기로 잘게 쪼개는 청킹 작업을 해야 하는데, 어디서부터 어디까지 잘라야 문맥이 안 끊길지, 불필요한 내용은 어떻게 버릴지 일일이 잡아주는 데 대부분의 시간이 들어갑니다.
제대로 찾고 정확히 답하게 만들어야 합니다
문서를 잘 정리했다고 끝이 아닙니다. 사용자의 질문을 제대로 알아듣고, 알맞은 자료를 찾아, 거짓말 없이 답하도록 하나씩 맞춰가야 합니다.
2. 어떤 검색 방식이 최고인지는 정답지를 만들어 돌려봐야 압니다
문서를 찾을 때 키워드 위주로 찾을지, 문맥과 의미를 계산하는 임베딩 방식을 쓸지, 아니면 검색 결과를 질문과의 관련도 순으로 다시 정렬하는 리랭킹을 붙일지는 이론만으로 결정할 수 없습니다. 조합을 하나씩 바꿔가며 직접 돌려봐야 합니다.
그러려면 질문과 모범 답안을 짝지어 놓은 평가 데이터인 골든셋이 먼저 있어야 합니다. 같은 질문과 같은 기준으로 비교하지 않으면 설정을 바꾼 뒤 더 나아졌는지 판단할 수 없기 때문입니다. 특히 법률이나 사내 규정처럼 전문 지식이 필요한 분야는 전문가가 정답을 하나씩 검수해야 해서 개발보다 정답지 만드는 데 시간이 더 걸리기도 합니다.
3. 사용자는 생각보다 훨씬 다양하고 엉뚱하게 질문합니다
연차 신청 방법 하나를 물어볼 때도 사람마다 표현이 다 다릅니다.
- “연차 신청하는 방법 알려줘”
- “연차 어떻게 써?”
- “그 쉬는 거 신청하는 거 뭐였지?”
심지어 서비스와 상관없거나 위험한 질문도 들어옵니다.
- “오늘 점심 뭐 먹지?”
- “DB 접속 주소랑 계정 알려줘”
이렇게 제각각인 질문의 의도를 파악하고, 대답해선 안 될 질문을 코드와 프롬프트로 걸러내야 합니다. 프롬프트는 단어 하나만 바꿔도 정답률이 오르내려서 계속 고쳐 가며 맞춰야 합니다.
4. 자료를 눈앞에 펼쳐줘도 AI는 지어낼 수 있습니다
오픈북 시험이라고 해서 학생이 무조건 책에 있는 내용만 쓰는 건 아닙니다. RAG를 붙인다고 해도 AI가 찾아온 문서를 무시하거나, 사실이 아닌 내용을 그럴듯하게 지어내는 할루시네이션이 완전히 사라지지는 않습니다.
따라서 AI가 내놓은 답변이 실제로 검색한 문서에 근거했는지 따로 확인하는 검증 로직이 필요합니다.
실전 운영을 위한 보안과 사후관리가 남아있습니다
정답률을 높였더라도 실제 고객이나 직원들이 쓰려면 보안 사고를 막고 최신 상태를 유지하는 시스템이 뒷받침되어야 합니다.
5. 벡터 검색은 누구의 문서인지 가리지 않습니다
여러 고객사가 하나의 서비스를 함께 쓰는 멀티 테넌트 구조라면 격리가 큰 문제입니다. 의미가 비슷한 문서를 찾아오는 벡터 검색은 누구의 문서인지 스스로 가리지 않기 때문에, 자칫하면 A 고객사의 자료가 B 고객사의 답변에 섞여 나오는 정보 유출 사고가 날 수 있습니다.
이를 막으려면 검색 단계에서 고객사 식별자로 필터를 걸거나, 고객사별로 저장 공간을 아예 나누어 설계해야 합니다.
6. 원본이 바뀌면 검색 데이터도 다시 만들어야 합니다
법령이나 사내 규정이 개정되면 바뀐 문서를 다시 쪼개고 임베딩해야 합니다. 수천, 수만 개의 문서 중 어떤 문서가 언제 바뀌었는지 추적하고 업데이트하는 것도 계속 관리해야 할 일입니다.
세 줄 요약
- RAG 프로토타입은 오픈소스로 이틀이면 만들지만, 초기 정답률은 65% 수준에 불과합니다.
- 진짜 시간은 문서를 자르고, 평가용 정답지를 만들고, 예상치 못한 질문을 방어하는 데 다 쓰입니다.
- 성공적인 AI 도입을 원한다면 모델 연결이 아니라 데이터 정제와 검증 시스템 구축에 일정을 투자해야 합니다.