할루시네이션 뜻, AI가 틀리는 이유와 줄이는 법

할루시네이션(hallucination)은 AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 현상입니다. 우리말로 "환각"이라고도 부르는데, 정작 문제는 AI가 틀린다는 사실보다 틀린 답이 맞는 답과 똑같은 말투로 나온다는 데 있습니다. 2023년 미국에서는 변호사가 챗GPT가 지어낸 판례 여섯 건을 법원에 냈다가 벌금을 물었고, 2024년 캐나다에서는 항공사가 자사 챗봇이 잘못 안내한 환불 규정 때문에 고객에게 배상했습니다. 회사 업무에 AI를 쓰기 시작했다면 할루시네이션은 "언젠가 고칠 버그"가 아니라 지금 관리해야 할 위험입니다. 왜 생기는지, 어디서 생기는지, 어떻게 줄이는지를 실제 사례와 연구로 짚어 봅니다.

할루시네이션 뜻: 모른다고 말하지 않는 AI

사람은 모르는 것을 물으면 "잘 모르겠습니다"라고 하거나 찾아보겠다고 합니다. 언어 모델은 기본적으로 그렇게 행동하지 않습니다. 질문을 받으면 가장 그럴듯한 다음 문장을 이어 붙여 답을 만들기 때문에, 근거가 없는 질문에도 형식은 완벽한 답을 내놓습니다.

할루시네이션은 크게 두 가지 모습으로 나타납니다. 하나는 없는 것을 만들어 내는 경우입니다. 존재하지 않는 판례, 없는 논문, 발행되지 않은 세금계산서 번호를 그럴듯하게 지어냅니다. 다른 하나는 있는 것을 틀리게 말하는 경우입니다. 실제 규정을 인용하면서 숫자나 조건을 바꾸거나, 문서에 없는 내용을 문서에 있다고 말합니다. 업무 현장에서는 두 번째가 더 위험합니다. 대부분 맞는 말 사이에 틀린 숫자 하나가 섞여 있으면 사람이 알아채기 어렵기 때문입니다.

👉 LLM 뜻, 대규모 언어 모델이 일하는 방식

AI는 왜 지어낼까

OpenAI는 2025년 9월 Why language models hallucinate라는 연구를 공개하며 원인을 이렇게 설명했습니다. 언어 모델을 평가하는 시험 대부분이 "정답이면 점수, 모르면 0점"으로 채점하기 때문에, 모델 입장에서는 모를 때 "모르겠다"고 답하는 것보다 찍는 편이 점수가 높다는 것입니다. 객관식 시험에서 빈칸으로 두느니 아무 번호나 고르는 학생과 같습니다.

연구진은 이 차이를 숫자로 보여 줬습니다. 같은 사실 확인 문제에서 한 모델은 52%의 질문에 "모른다"고 답하고 정답률 22%, 오답률 26%를 기록했습니다. 다른 모델은 모른다고 답한 비율이 1%에 그쳤고 정답률은 24%로 비슷했지만, 오답률은 75%까지 올라갔습니다. 정답률만 보면 두 번째 모델이 조금 낫지만, 업무에 쓴다면 틀린 답을 세 배 가까이 내놓는 모델입니다. 연구진은 모르는 것을 모른다고 답하는 행동에 점수를 주도록 평가 방식부터 바꿔야 한다고 제안했습니다. (논문 원문)

정리하면 할루시네이션은 AI가 일부러 거짓말하는 것이 아니라, 그럴듯한 답을 만들도록 훈련된 구조에서 나오는 부작용입니다. 모델이 좋아질수록 줄어들지만 0이 되지는 않습니다. 그래서 회사가 할 일은 "할루시네이션 없는 AI"를 찾는 것이 아니라, 할루시네이션이 생겨도 업무에 새어 나가지 않게 막는 구조를 만드는 것입니다.

실제로 일어난 일: 책임은 회사가 진다

가짜 판례 여섯 건을 낸 변호사

2023년 뉴욕 연방법원의 Mata v. Avianca 사건에서 원고 측 변호사들은 챗GPT로 찾은 판례들을 서면에 인용했습니다. 문제는 그중 여섯 건이 존재하지 않는 판례였다는 것입니다. 판사는 2023년 6월 변호사들과 소속 로펌에 5,000달러의 제재금을 부과했는데, 판결에서 특히 문제 삼은 것은 AI를 쓴 사실이 아니라 상대방이 의문을 제기한 뒤에도 몇 주 동안 확인하지 않고 버틴 태도였습니다. (Bloomberg Law 보도)

챗봇이 안내한 환불 규정

2024년 2월 캐나다 브리티시컬럼비아주 민사분쟁조정위원회는 에어캐나다가 고객에게 약 812캐나다달러를 배상하라고 결정했습니다. 에어캐나다 웹사이트의 챗봇이 유족 할인 요금을 탑승 후에도 소급해 신청할 수 있다고 안내했는데, 실제 규정은 달랐습니다. 에어캐나다는 챗봇이 한 말은 회사 책임이 아니라고 주장했지만, 위원회는 정보가 웹페이지에 있든 챗봇이 말했든 회사 책임이라는 점은 같다고 판단했습니다. (결정문 원문)

두 사례의 교훈은 같습니다. AI가 만든 답을 고객이나 거래처, 관공서에 내보내는 순간 그 내용은 회사의 말이 됩니다. "AI가 그렇게 말했다"는 변명이 되지 않습니다.

회사 업무에서 할루시네이션이 생기는 곳

유통/제조 회사의 하루로 옮겨 보면 위험한 지점이 분명해집니다. 영업 담당자가 AI에게 "세진물산이 지난달 주문한 SB-40 브래킷 단가가 얼마였지?"라고 묻는다고 해 보겠습니다. AI가 회사 ERP에 연결되어 있지 않다면, 이 질문에 정확히 답할 방법이 없습니다. 그런데도 일반 챗봇은 "세진물산의 지난달 SB-40 단가는 1,250원입니다" 같은 답을 만들어 낼 수 있습니다. 담당자가 이 숫자를 견적서에 그대로 옮기면 할루시네이션이 거래 조건이 됩니다.

같은 질문을 회사 시스템에 연결된 AI에게 하면 흐름이 달라집니다. AI는 먼저 거래처를 세진물산으로, 품목을 SB-40 브래킷으로 확정한 뒤 지난달 수주 기록을 조회하고, "10월 12일 수주 SO-2610-118, 단가 1,180원, 수량 1,200개"처럼 근거가 된 문서 번호와 함께 답합니다. 기록이 없으면 "지난달 SB-40 주문 기록이 없습니다"라고 답합니다. 담당자는 숫자가 어디서 왔는지 바로 확인할 수 있고, 틀렸다면 그 문서를 열어 보면 됩니다.

같은 AI라도 무엇을 맡기느냐에 따라 위험도가 크게 다릅니다.

표에서 보듯 위험은 "AI가 사실을 어디서 가져오느냐"로 갈립니다. 사람이 준 사실을 다듬는 일은 안전하고, AI가 기억에서 사실을 꺼내야 하는 일은 위험합니다.

할루시네이션을 줄이는 방법 다섯 가지

Anthropic이 공개한 할루시네이션 줄이기 가이드와 현장에서 효과가 확인된 방법을 회사 업무에 맞게 정리하면 다음과 같습니다.

1. 숫자는 AI의 기억이 아니라 시스템에서 가져온다

단가, 재고, 미수금, 납기처럼 회사의 숫자는 AI가 매번 회사 시스템에서 조회해 답하게 해야 합니다. AI가 ERP와 재고 데이터에 직접 연결되어 있으면 "1,250원"은 지어낸 숫자가 아니라 조회한 숫자가 됩니다. 연결이 안 된 AI에는 회사 숫자를 묻지 않는 것이 원칙입니다.

2. "모르면 모른다고 답하라"고 명시한다

Anthropic 가이드가 가장 먼저 꼽는 방법입니다. 질문에 "자료에 없으면 '확인할 수 없음'이라고 답하라"는 문장을 넣는 것만으로 지어낸 답이 크게 줄어듭니다. 사내 AI 사용 가이드에 이 문장을 기본 요청문으로 넣어 두면 직원마다 따로 신경 쓰지 않아도 됩니다.

3. 근거 문서를 주고, 문서 안에서만 답하게 한다

규정이나 계약서를 물을 때는 그 문서를 함께 주고 "이 문서에 있는 내용으로만 답하라"고 합니다. 문서가 길면 먼저 관련 문장을 그대로 인용하게 한 다음 그 인용을 바탕으로 답하게 하면, 문서에 없는 내용이 섞여 들어갈 틈이 줄어듭니다.

4. 답마다 출처를 달게 한다

AI가 내놓은 주장마다 근거가 된 문장이나 문서 위치를 표시하게 합니다. 출처를 찾지 못한 주장은 지우라고 요청할 수도 있습니다. 출처가 붙어 있으면 사람이 확인하는 시간이 몇 분에서 몇 초로 줄어듭니다.

5. 밖으로 나가는 문서 앞에 확인 지점을 둔다

견적서, 거래처 회신, 신고 자료처럼 회사 밖으로 나가는 결과물은 보내기 전에 숫자와 조건을 원본과 대조하는 단계를 둡니다. 모든 결과물을 같은 강도로 볼 필요는 없습니다. 위 표의 위험도에 따라 공지문은 훑어보고, 단가와 금액은 원본과 맞춰 보는 식으로 나누면 확인에 드는 시간을 최소로 줄일 수 있습니다.

요청문 예시: 이렇게 물으면 덜 틀린다

같은 AI라도 묻는 방식에 따라 할루시네이션이 크게 달라집니다. 실무에서 자주 쓰는 세 가지 경우를 고쳐 보면 이렇습니다.

규정을 물을 때. "전자세금계산서 지연발급 가산세가 몇 %야?"라고만 물으면 AI는 기억에 의존해 답합니다. 대신 국세청 안내 페이지 내용을 붙여 넣고 "아래 국세청 안내에 있는 내용으로만 답해 줘. 안내에 없으면 '안내에 없음'이라고 답해 줘"라고 물으면, 답의 근거가 기억이 아니라 붙여 넣은 원문이 됩니다.

계약서를 물을 때. "이 계약서에서 납품 지연 시 위약금 조건 알려 줘"보다 "이 계약서에서 납품 지연과 관련된 조항을 원문 그대로 먼저 인용하고, 그 인용만 근거로 위약금 조건을 정리해 줘"가 안전합니다. 인용 단계에서 해당 조항이 없으면 AI가 조건을 지어낼 여지가 사라집니다.

회의록을 요약할 때. "회의 요약해 줘" 대신 "결정 사항, 담당자, 기한을 표로 정리하고, 회의록에 담당자나 기한이 나오지 않으면 칸을 비워 둬"라고 하면, 회의에서 정하지도 않은 담당자와 날짜가 채워지는 일을 막을 수 있습니다.

세 요청문의 공통점은 AI에게 "근거가 없을 때 어떻게 할지"를 미리 정해 준다는 것입니다. 이 문장들을 팀이 같이 쓰는 요청문 모음에 넣어 두면 직원마다 실력 차이 없이 할루시네이션을 줄일 수 있습니다.

👉 AI 에이전트란? 챗봇과 다른 점, 회사 업무에 쓰는 법

할루시네이션 자주 묻는 질문 (FAQ)

Q. 최신 유료 모델을 쓰면 할루시네이션이 없나요?

줄어들지만 없어지지는 않습니다. OpenAI 연구도 할루시네이션이 언어 모델의 학습과 평가 방식에서 나오는 구조적인 현상이라고 설명합니다. 모델을 바꾸는 것보다 근거 자료를 연결하고 확인 지점을 두는 것이 효과가 큽니다.

Q. 할루시네이션인지 어떻게 알아보나요?

출처를 물어보는 것이 가장 빠릅니다. 근거 문서나 시스템 화면을 제시하지 못하는 숫자와 고유명사는 일단 의심합니다. 같은 질문을 두세 번 해서 답이 매번 달라지는 경우도 할루시네이션 신호입니다.

Q. 직원들이 이미 개인적으로 챗GPT를 쓰고 있다면 어떻게 하나요?

금지하기보다 쓰는 범위를 정하는 편이 현실적입니다. 문장 다듬기와 요약처럼 위험이 낮은 업무는 허용하고, 회사 숫자와 세법 판단은 회사 시스템이나 원문에서 확인하도록 사내 가이드에 적어 둡니다.

Q. 생성형 AI를 업무에 쓰는 것 자체가 위험한가요?

어디에 쓰느냐에 따라 다릅니다. 생성형 AI가 무엇을 잘하고 무엇을 못하는지부터 알면 안전하게 쓸 업무가 보입니다.

👉 생성형 AI 뜻, 기존 AI와 다른 점과 활용법

inline AI로 할루시네이션 걱정 줄이기

할루시네이션이 업무 사고로 이어지는 가장 큰 이유는 AI가 회사 숫자를 시스템이 아니라 기억에서 꺼내기 때문입니다. inline AI에서는 AI가 주문부터 회계까지 회사 업무가 모인 ARP 위에서 일하므로, 단가와 재고와 미수금을 매번 회사 데이터에서 확인하고 처리합니다.