표본 편향(sampling bias)은 보통 누군가를 빼기로 결정해서가 아니라 데이터를 모은 방식에서 생깁니다. 예를 들어 고객 지원 모델은 웹 양식으로 접수된 티켓으로 학습하는데, 다른 문제를 제기할 수 있는 전화 고객의 기록은 다른 시스템에 쌓여 있습니다. 사기 탐지 모델은 조사관이 검토하기로 고른 사례로 학습하므로, 모델이 보는 패턴은 조사관이 이미 의심하던 패턴입니다.
흔한 형태는 다음과 같습니다.
- 결과 의존 선택(outcome-dependent selection): 레코드가 데이터셋에 들어갈지가 결과나 관련 특성에 따라 정해집니다
- 생존자 편향(survivorship bias): 승인된 대출처럼 다음 단계까지 간 사례에만 결과가 기록됩니다
- 포괄 범위 공백(coverage gaps): 특정 지역, 채널, 제품군, 기간의 데이터가 없거나 적습니다
- 편의 표본 추출(convenience sampling): 업무에서 실제로 만날 데이터 대신 가장 구하기 쉬운 데이터를 씁니다
표본 편향은 클래스 불균형과 어떻게 다른가요?
- 클래스 불균형(class imbalance)은 카드 거래 중 사기처럼 한 결과가 데이터에서 드문 상태입니다. 불균형한 데이터도 현실을 정확하게 반영할 수 있습니다.
- 표본 편향은 데이터가 모델이 적용될 모집단을 반영하지 못하는 상태입니다. 드문 클래스가 실제보다 많거나 적게 담길 수 있고, 집단 전체가 빠질 수도 있습니다.
- 클래스 불균형은 클래스 불균형 보정에서 다루듯 재표본 추출이나 클래스 가중치로 처리할 수 있습니다. 표본 편향은 빠진 집단과 사례부터 찾아야 합니다. 한 번도 수집하지 않은 집단은 가중치를 바꿔도 추가되지 않기 때문입니다.
AI 업무에서 표본 편향은 어디서 문제가 되나요?
한 대출 기관이 승인된 대출만으로 부도 예측 모델을 학습시킵니다. 상환 결과가 있는 대출이 승인된 대출뿐이기 때문입니다. 이후 이 모델로 전체 신청자를 심사하는데, 여기에는 승인 사례에서 한 번도 본 적 없는 유형의 신청자도 들어 있습니다. 승인 대출 테스트 세트에서는 점수가 괜찮아 보이지만, 나머지 신청자에 대한 모델의 동작은 대부분 측정되지 않은 상태입니다.
표본 편향을 찾으려면 데이터를 업무가 실제로 만날 모집단과 비교해야 합니다. 어떤 채널, 지역, 기간, 예외가 없거나 적은지 확인하는 작업입니다. 학습 데이터와 같은 방식으로 뽑은 평가 세트로는 이 공백이 드러나지 않습니다. 중요한 사례가 적게 담겼거나 분포가 치우친 경우, DTS로 부족한 사례를 채우고 업무에 맞게 분포를 조정할 수 있습니다. 그다음 업무가 만날 사례를 포괄하도록 구성한 같은 평가 세트에서 준비 전후 결과를 확인합니다.