AI 환각(AI Hallucination)은 AI 모델이 자신 있게 내놓지만 사실과 다르거나 아예 지어낸 출력입니다. 언어 모델은 존재하지 않는 논문을 인용하거나, 없는 판례를 만들어내거나, 그럴듯한 문장 속에 틀린 숫자를 담아 답할 수 있습니다.
환각이 생기는 이유는 생성형 모델이 검증된 사실을 조회하는 대신 그럴듯한 다음 텍스트를 예측하기 때문입니다. 신뢰할 수 있는 원천 데이터에 접근하지 못할 때, 학습 데이터가 오래됐거나 서로 어긋날 때, 질문이 학습 범위를 벗어날 때 위험이 커집니다.
대표적인 완화책은 검색 증강 생성(RAG), 검증된 소스에 답을 근거시키는 그라운딩, 고위험 출력에 대한 사람 검토입니다. 엔터프라이즈 환경에서는 모델만큼 데이터 쪽이 중요합니다. 답이 어떤 데이터 상태에 기반했는지 추적할 수 있으면 잘못된 출력을 찾아내고 비교하고 재현하기가 쉬워집니다.
관련 용어: Ground Truth · Retrieval-Augmented Generation (RAG) · AI Reliability Gap · Verifiable Data State