한 제조사가 정비 기록으로 설비 고장을 예측하는 모델을 만듭니다. 센서 테이블은 장비가 오프라인이었던 시간마다 측정값이 비어 있고, 고장 유형은 본사 티켓 시스템을 거친 수리 건에만 기록되어 있습니다. 현장에서 바로 고치고 아무도 적지 않은 고장 유형은 데이터에 아예 없습니다.
결측 데이터(missing data)는 데이터셋에서 값이 있어야 할 자리에 값이 없는 상태로, 빈 필드, null 값, 아예 수집되지 않은 레코드를 모두 포함합니다.
통계에서는 값이 왜 빠졌는지를 기준으로 결측을 나눕니다. Stef van Buuren은 온라인 책 Flexible Imputation of Missing Data에서 Donald Rubin이 1976년에 제시한 세 범주를 정리합니다. 모든 사례의 결측 확률이 같으면 완전 무작위 결측(MCAR), 결측 확률이 관측된 정보에 따라 달라지면 무작위 결측(MAR), 알 수 없는 이유로 달라지면 비무작위 결측(MNAR)입니다. Van Buuren은 간단한 처리 방법 대부분이 MCAR라는 제한적인 가정에서만 맞고, 이 가정이 성립하지 않으면 추정이 편향될 수 있다고 설명합니다.
빠진 값과 빠진 사례는 어떻게 다른가요?
- 빠진 값은 존재하는 레코드 안의 빈칸이나 null입니다. 데이터 프로파일링 리포트에서 컬럼별로 셀 수 있습니다.
- 빠진 사례는 데이터셋에 처음부터 들어오지 않은 상황입니다. 현장에서 고치고 기록하지 않은 고장 유형이 그런 예입니다. 비어 있는 칸이 없어서 null 개수로는 찾을 수 없습니다.
- 둘 다 AI 결과에 영향을 주지만 대응이 다릅니다. 빠진 값에는 처리 규칙이 필요하고, 빠진 사례에는 데이터를 더 모으거나 모델이 다루는 범위를 문서로 남기는 일이 필요합니다.
AI 업무에서 결측 데이터는 어디서 문제를 일으키나요?
- 편향된 대체: 부하가 클 때 주로 센서 값이 빠진다면, 빈칸을 컬럼 평균으로 채우는 순간 고장 직전의 상태가 실제보다 가볍게 기록됩니다.
- 사라지는 신호: 빈칸이 있는 행을 모두 지우면 시스템에 부하가 가장 컸던 기록이 함께 사라질 수 있습니다.
- 대체 과정의 누수: 학습-평가 분할 전에 전체 데이터로 대체 모델을 학습하면 평가 데이터가 학습 입력에 영향을 줍니다.
- 보이지 않는 공백: 특정 고장 유형 없이 학습한 모델은 그 유형을 잡아내지 못합니다. 평가 세트에도 같은 사례가 없으면 평가 점수에서도 드러나지 않습니다.
결측 데이터는 어떻게 다루나요?
먼저 필드, 원천 시스템, 기간별로 어디에 값이 빠졌는지 확인하고 그 이유를 묻습니다. 흔히 쓰는 처리 방법으로는 불완전한 행 삭제, 결측값 대체(imputation), 결측 표시 컬럼 추가가 있습니다. scikit-learn 결측값 대체 가이드는 어떤 값이 비어 있었는지에 대한 정보를 남겨 두면 쓸모가 있을 수 있다고 설명하며, MissingIndicator 변환기로 그 위치를 표시해 모델이 활용하게 합니다.
빠진 사례는 업무를 잘 아는 담당자와 함께 데이터셋을 AI 업무가 다뤄야 할 상황과 대조해 찾습니다. 사례가 부족하면 레코드를 더 모으거나, 데이터 증강처럼 조건을 명시해 만든 후보 데이터를 더한 뒤 실제 평가 데이터로 결과를 확인합니다. 어떤 공백을 채웠고 어떤 공백이 남았는지 기록해 두면 모델이 무엇을 검증받았고 무엇을 검증받지 않았는지 분명해집니다.
관련 항목: 데이터 품질, 골든 데이터셋, AI-ready 데이터.