AI 옵저버빌리티(AI observability)는 인공지능·머신러닝 시스템을 운영에서 관찰해, 모델이 어떻게 동작하고 성능 저하를 일찍 잡으며 시간이 지나며 출력이 왜 바뀌는지 이해하는 활동입니다. 모델 성능 지표, 데이터 모니터링, 시스템 텔레메트리를 하나의 화면으로 모읍니다.
대표적인 신호로는 예측 정확도, 지연, 입력 데이터 드리프트, 출력 분포 변화가 있습니다. 예를 들어 사기 탐지 모델은 상류 데이터가 바뀐 뒤 점수 분포가 갑자기 달라지는지 지켜봐, 손실이 나기 전에 문제를 알립니다.
AI 옵저버빌리티는 모델 동작이 바뀌었다는 걸 보여줍니다. 원인을 짚으려면 보통 실행이 쓴 정확한 데이터 상태를 재현해야 하므로, 감지와 재현은 별개이면서 서로 보완하는 단계입니다.