RAG 뜻, AI가 회사 문서를 찾아보고 답하게 하는 방법

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답을 쓰기 전에 관련 문서를 먼저 찾아보고, 찾은 내용을 근거로 답하게 하는 방식입니다. 챗GPT에 "우리 회사 출장비 기준이 얼마야?"라고 물으면 그럴듯한 숫자를 지어내지만, RAG를 붙인 AI는 사내 규정집에서 해당 조항을 찾아 그 내용대로 답하고 어느 문서의 몇 조인지까지 보여 줍니다. AI 도입을 검토하다 보면 거의 반드시 듣게 되는 말이 RAG인 이유는, 회사가 AI에 기대하는 대부분의 일이 "우리 회사 자료를 알고 답하는 것"이기 때문입니다.

개발자가 아니어도 RAG의 원리와 한계는 알아 둘 필요가 있습니다. 어떤 일에 AI를 믿고 맡길 수 있는지, 도입 업체가 "RAG로 해결된다"고 할 때 무엇을 물어야 하는지가 여기서 갈립니다.

RAG 뜻: AI에게 오픈북 시험을 보게 하는 것

RAG라는 이름은 2020년 Patrick Lewis 등 연구진이 발표한 논문 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks에서 나왔습니다. 이 논문은 언어 모델이 학습하면서 몸에 익힌 지식(논문 표현으로 "파라미터 메모리")만으로는 정확한 사실을 꺼내 쓰는 데 한계가 있다고 보고, 여기에 위키백과 같은 외부 문서를 검색해 붙이는 구조를 제안했습니다. 그 결과 사실을 묻는 질문에서 기존 방식보다 더 정확하고 구체적인 답을 냈습니다.

쉽게 말하면 AI에게 오픈북 시험을 보게 하는 것입니다. 일반 AI는 머릿속 기억만으로 시험을 치르고, 기억이 흐릿하면 그럴듯하게 지어냅니다. RAG를 붙인 AI는 문제를 받으면 먼저 책을 펴서 관련 부분을 찾고, 그 내용을 보고 답을 씁니다.

아마존웹서비스(AWS)는 RAG 설명 페이지에서 언어 모델을 "최신 소식은 모르면서 모든 질문에 자신 있게 답하는 의욕 넘치는 신입사원"에 비유합니다. RAG는 이 신입사원에게 사내 문서함을 열어 주고, 답하기 전에 꼭 찾아보게 하는 규칙입니다.

왜 RAG가 지어낸 답을 줄이나

AI가 틀린 답을 자신 있게 내놓는 현상을 할루시네이션이라고 합니다. 원인 중 하나는 AI가 모르는 것을 모른다고 하지 않고, 학습한 말투로 빈칸을 채우기 때문입니다. 우리 회사의 출장비 기준, 올해 바뀐 단가, 지난달 들어온 클레임은 어떤 AI도 학습한 적이 없으니 물어보면 지어낼 수밖에 없습니다.

RAG는 이 빈칸을 실제 문서로 채웁니다. AWS가 꼽는 RAG의 장점 가운데 회사에 특히 중요한 것은 세 가지입니다. 모델을 다시 학습시키지 않고도 새 정보를 넣을 수 있어 비용이 적게 들고, 자주 바뀌는 자료도 최신 상태로 반영할 수 있으며, 답에 근거 문서를 함께 보여 줄 수 있어 사용자가 직접 확인할 수 있다는 점입니다. 회사 입장에서는 세 번째가 가장 중요합니다. 출처가 붙어 있으면 직원이 AI 답을 그대로 믿을지, 원문을 열어 볼지 스스로 판단할 수 있습니다.

👉 할루시네이션 뜻, AI가 틀리는 이유와 줄이는 법

회사 문서가 질문에 답하게 되는 과정

RAG가 실제로 어떻게 움직이는지 유통 회사 영업관리팀 예로 따라가 보겠습니다. 영업 담당자가 AI에게 "세진물산 브래킷 SB-40 단가가 작년이랑 왜 달라?"라고 묻는 상황입니다.

1. 문서를 모읍니다. 거래처별 단가 계약서, 단가 변경 공문, 영업 회의록처럼 답의 근거가 될 문서를 한곳에 모읍니다.
2. 잘게 나눠 색인합니다. 긴 문서를 문단 단위로 나누고, 각 문단이 어떤 내용인지 AI가 비교할 수 있는 형태로 정리해 둡니다. 도서관이 책마다 색인 카드를 만들어 두는 것과 비슷합니다.
3. 질문과 가까운 내용을 찾습니다. 질문이 들어오면 "세진물산", "SB-40", "단가 변경"과 뜻이 가까운 문단을 찾아옵니다. 단어가 정확히 같지 않아도 "브라켓 40", "스텐 브래킷"처럼 같은 뜻이면 찾습니다.
4. 찾은 내용을 붙여 답합니다. AI는 찾아온 문단을 읽고 "2026년 3월 원자재 가격 상승으로 단가를 6,500원에서 6,600원으로 조정한다는 공문(2026-03-12)에 따른 것입니다"처럼 답하고, 근거 문서를 함께 보여 줍니다.
5. 문서가 바뀌면 다시 반영합니다. 새 공문이 들어오면 색인을 갱신해야 다음 질문에 새 내용이 나옵니다. AWS도 외부 데이터를 실시간이나 정기적으로 갱신하는 단계를 RAG의 일부로 설명합니다.

담당자 입장에서 달라지는 점은 단순합니다. 공유 폴더에서 계약서를 찾고, 메일함에서 공문을 검색하던 10분이 질문 한 줄로 바뀝니다.

부서별로 보면 이렇게 쓰입니다

품질팀: 클레임 이력 찾기. 거래처에서 "지난번에도 같은 찍힘 불량이 있었는데 그때 어떻게 처리했냐"는 문의가 오면, 담당자는 몇 년치 클레임 보고서를 뒤져야 합니다. 클레임 보고서와 시정조치 기록을 RAG로 연결해 두면 "브래킷 SB-40 표면 찍힘 클레임 이력"을 묻는 것만으로 비슷한 사례 세 건과 각각의 원인, 조치 내용, 보고서 위치가 나옵니다. 담당자가 바뀌어도 회사의 경험이 사라지지 않습니다.

인사/총무: 신입 직원의 반복 질문. 연차 사용 기준, 경조사비, 법인카드 사용 범위처럼 매번 같은 질문이 인사 담당자에게 몰립니다. 사내 규정집을 RAG로 연결하면 직원은 규정 조항과 함께 답을 바로 받고, 담당자는 규정에 없는 예외 상황만 판단하면 됩니다.

영업: 제품 사양과 인증서 찾기. 해외 거래처가 특정 제품의 재질, 인증, 시험 성적을 물으면 영업 담당자는 생산팀과 품질팀에 다시 묻곤 합니다. 제품 사양서와 시험 성적서를 연결해 두면 영업 담당자가 직접 찾아 답할 수 있고, 근거 문서까지 바로 첨부할 수 있습니다.

세 경우 모두 공통점이 있습니다. 답이 이미 회사 문서 어딘가에 있고, 그것을 찾는 데 사람의 시간이 들던 일입니다. RAG가 가장 큰 효과를 내는 곳이 바로 여기입니다.

RAG가 잘 맞는 일과 안 맞는 일

RAG는 만능이 아닙니다. 문서에 답이 있는 질문에는 강하지만, 문서에 없는 질문이나 계산이 필요한 질문에는 그대로 약합니다.

오른쪽 일은 RAG가 아니라 다른 방식이 필요합니다. 재고 수량처럼 시시각각 바뀌는 숫자는 문서를 검색할 게 아니라 ERP에서 직접 조회해야 정확합니다. AI가 ERP 같은 회사 시스템을 직접 다루게 하는 방식이 AI 에이전트이고, 그 연결을 표준으로 만든 것이 MCP입니다. 실제 업무용 AI는 문서는 RAG로 찾고, 숫자는 시스템에서 조회하는 식으로 둘을 함께 씁니다.

도입할 때 확인할 세 가지

문서가 정리되어 있는가

RAG의 답은 넣어 준 문서보다 좋아질 수 없습니다. 같은 규정의 2022년판과 2025년판이 함께 들어가 있으면 AI가 옛 기준으로 답할 수 있고, 스캔 상태가 나쁜 PDF는 내용을 제대로 읽지 못합니다. 도입 전에 최신본 하나만 남기고, 파일 이름과 개정일을 정리하는 것만으로도 답의 품질이 크게 달라집니다.

볼 수 있는 사람만 보게 되는가

인사 규정은 모든 직원이 봐도 되지만, 급여 대장이나 특정 거래처 계약서는 아닙니다. RAG가 회사 문서 전체를 색인하면, 권한 없는 직원이 질문 한 줄로 민감한 내용을 꺼낼 수 있습니다. 마이크로소프트는 Azure AI Search의 RAG 안내에서 문서 단위 접근 권한을 검색 단계에서 걸러 내도록 설계해야 하며, 사용자는 볼 권한이 있는 내용만 찾아야 한다고 설명합니다. 업체를 검토할 때 "우리 회사 폴더 권한이 AI 답변에도 그대로 적용되는지"를 반드시 물어봐야 하는 이유입니다.

출처를 보여 주는가

답마다 근거 문서와 위치를 보여 주는지 확인합니다. 출처가 없으면 RAG를 썼는지 아닌지 사용자가 알 수 없고, 틀린 답이 나왔을 때 어느 문서가 문제인지 찾을 수도 없습니다. 출처가 있으면 반대로 문서 관리가 쉬워집니다. 같은 질문에 옛 규정이 계속 근거로 나온다면, 그 문서를 지우거나 고쳐야 한다는 신호이기 때문입니다.

RAG와 파인튜닝은 무엇이 다른가

AI에 회사 지식을 넣는 또 다른 방법으로 파인튜닝(미세조정)이 있습니다. 파인튜닝은 회사 자료로 모델을 추가 학습시켜 지식을 모델 안에 넣는 방식이고, RAG는 모델은 그대로 두고 필요할 때 문서를 찾아 보여 주는 방식입니다. 시험으로 치면 파인튜닝은 미리 외우게 하는 것, RAG는 책을 펴 놓고 보게 하는 것입니다.

규정과 단가처럼 자주 바뀌고 근거를 보여 줘야 하는 회사 정보에는 대부분 RAG가 맞습니다. 다시 학습시킬 필요 없이 문서만 바꾸면 되고, 답의 출처를 확인할 수 있기 때문입니다. 파인튜닝은 회사 특유의 말투나 보고서 형식처럼 "방식"을 익히게 할 때 주로 씁니다.

RAG 자주 묻는 질문 (FAQ)

Q. RAG를 쓰면 AI가 절대 틀리지 않나요?

아닙니다. 지어내는 답은 크게 줄지만, 엉뚱한 문서를 찾아오거나 찾은 문서를 잘못 읽으면 틀릴 수 있습니다. 그래서 출처를 함께 보여 주고, 중요한 숫자는 원문을 열어 확인하는 습관이 필요합니다.

Q. 챗GPT에 파일을 올려서 묻는 것도 RAG인가요?

넓게 보면 같은 원리입니다. 올린 파일에서 관련 내용을 찾아 답하기 때문입니다. 다만 회사에서 말하는 RAG는 수백, 수천 개 문서를 미리 색인해 두고 권한과 갱신까지 관리하는 체계를 말하는 경우가 많습니다.

Q. 회사 문서를 AI 업체에 넘겨도 괜찮나요?

문서가 어디에 저장되는지, 암호화되는지, AI 모델 학습에 쓰이는지를 계약으로 확인해야 합니다. 업무용 서비스는 대부분 회사 데이터를 학습에 쓰지 않는 조건을 제공하므로 개인용 서비스와 구분해서 봐야 합니다.

Q. RAG를 쓰려면 문서를 어떻게 준비해야 하나요?

먼저 자주 묻는 질문에 답이 되는 문서부터 고릅니다. 규정집, 제품 사양서, 클레임 보고서처럼 질문이 몰리는 문서를 최신본 하나로 정리하고, 파일 이름에 문서 종류와 개정일을 넣어 둡니다. 스캔 PDF는 글자를 읽을 수 있는 상태인지 확인하고, 표 안에만 있는 숫자는 본문에도 한 번 적어 두면 찾는 정확도가 올라갑니다. 처음부터 모든 문서를 넣기보다 한 부서의 문서로 시작해 답의 품질을 확인하는 편이 빠릅니다.

👉 AI 보안, 회사 자료를 생성형 AI에 넣어도 될까

inline AI로 회사 자료를 아는 AI 쓰기

RAG가 제 역할을 하려면 문서와 업무 데이터가 한곳에 정리되어 있어야 합니다. inline AI는 직원이 열어 둔 회사 파일과 AI OS의 ARP에 쌓인 주문, 재고, 회계 데이터를 바탕으로 AI가 일하고, 데이터는 AES-256으로 암호화해 저장하며 AI 학습에 쓰지 않습니다.