LLM 옵저버빌리티(LLM observability)는 대규모 언어 모델 애플리케이션이 운영에서 어떻게 동작하는지, 곧 무엇을 출력하고 왜 그러며 어디서 실패하는지 관찰하고 이해하는 활동입니다. 로그·메트릭·트레이스 같은 기존 옵저버빌리티를, 프롬프트·응답·지연·비용, 그리고 환각(hallucination)이나 드리프트 같은 LLM 특유의 품질 문제로 확장한 것입니다.
실제로는 프롬프트와 응답을 하나하나 기록하고, 출력 품질을 점수화하고, 동작이 바뀌면 알림을 겁니다. 예를 들어 고객 지원 어시스턴트는 모델이나 데이터가 바뀐 뒤 환각률이 오르는지 추적해, 사용자보다 먼저 팀이 문제를 잡습니다.
LLM 옵저버빌리티는 무언가 바뀌었다는 걸 알려줍니다. 잘 되던 실행 뒤의 정확한 데이터 상태를 재현해 추측 대신 무엇이 바뀌었는지 보는 것은 별개의 문제입니다.