Explainable AI(설명 가능한 AI), 줄여서 XAI는 AI 시스템의 출력을 그것에 의존하는 사람들이 이해할 수 있게 만드는 방법들의 묶음입니다. 어떤 특성이 예측을 이끌었는지, 비슷한 두 사례를 모델이 왜 다르게 다뤘는지 같은 질문에, 특성 기여도(feature attribution)나 사례 기반 설명 같은 기법으로 답합니다. 예를 들어 어떤 대출 모델이 거절의 주된 요인으로 소득을 든다 해도, 결정 시점에 그 신청자의 정확한 입력 데이터를 다시 불러올 수 있어야 그 설명을 확인할 수 있습니다. 이 방법들은 대부분 모델에 초점을 둡니다. 데이터 쪽에는 빈틈이 남습니다. 모델이 입력을 어떻게 따졌는지 설명해도, 결과를 낼 때 모델이 본 정확한 데이터를 아무도 되살릴 수 없다면 그 설명은 큰 의미가 없습니다. 설명 가능성은 모델 차원의 추론이 추적·재현 가능한 데이터 상태와 짝을 이룰 때 비로소 완성되며, 그래야 과거의 판단을 기억에 의존해 재구성하지 않고 실제 일어난 그대로 들여다볼 수 있습니다.
자주 묻는 질문
Explainable AI(XAI)란 무엇입니까?
특성 기여도나 사례 기반 설명 같은 기법으로 AI 시스템의 출력을 이해할 수 있게 만드는 방법들의 묶음입니다.
설명 가능한 AI는 모델에 관한 것만입니까?
아닙니다. 모델이 본 정확한 데이터를 되살릴 수 없으면 모델 차원의 설명만으로는 불완전하므로, 데이터 상태의 추적 가능성도 중요합니다.
데이터 상태는 설명 가능성과 어떻게 연결됩니까?
결과 뒤의 데이터를 기억이 아니라 추적·재현할 수 있어야, 과거 판단을 실제 일어난 그대로 검토할 수 있습니다.