Distribution Shift란?

한 소매업체가 2년치 주간 판매 데이터로 수요 예측 모델을 학습합니다. 새 멤버십 프로그램이 시작된 뒤로 고객은 한 번에 더 많이 사고, 구매 시점도 월중 다른 때로 옮겨 갑니다. 모델과 코드, 변수는 그대로인데 예측 오차는 매주 조금씩 커집니다.

분포 변화(distribution shift)는 머신러닝 모델이 학습한 데이터와 실제 사용 중에 받는 데이터가 서로 다른 상태로, 모델 자체가 바뀌지 않아도 성능이 떨어질 수 있습니다.

WILDS 벤치마크 논문의 저자 Koh 등은 분포 변화를 학습 분포와 테스트 분포가 다른 경우로 설명하고, 실제 환경에 배포된 머신러닝 시스템의 정확도를 크게 떨어뜨릴 수 있다고 지적합니다. 또한 연구에서 널리 쓰는 데이터셋에는 이런 변화가 충분히 반영되어 있지 않다고 봅니다.

연구자들은 무엇이 바뀌었는지에 따라 분포 변화의 유형을 나눕니다. Lipton, Wang, Smola는 논문 Detecting and Correcting for Label Shift with Black Box Predictors에서 레이블 변화(label shift)를 다룹니다. 결과별 빈도는 바뀌지만, 각 결과가 입력에 나타나는 방식은 그대로인 경우입니다.

분포 변화는 데이터 드리프트, 개념 드리프트와 어떻게 다른가요?

  • 분포 변화는 모델이 학습·평가에 쓴 데이터와 실제로 받는 데이터 사이의 모든 불일치를 가리키는 넓은 용어입니다.
  • 공변량 변화(covariate shift)는 입력은 바뀌지만 입력과 결과의 관계는 그대로인 경우입니다. 레이블 변화는 결과별 빈도가 바뀌는 경우입니다.
  • 개념 드리프트는 관계 자체가 바뀌어, 같은 입력이라도 이제는 다른 예측이 맞는 경우입니다.
  • 데이터 드리프트는 운영 중에 입력 데이터가 시간에 따라 바뀌는 것을 모니터링할 때 쓰는 용어입니다.

AI 업무에서 분포 변화는 어디서 문제를 일으키나요?

분포 변화는 오류 메시지를 거의 남기지 않습니다. 파이프라인은 돌고 예측도 나오지만, 품질은 뚜렷한 신호 없이 떨어집니다.

  • 낡은 평가 기준: 작년 데이터로 만든 평가 세트는 계속 통과하는데 실제 성능은 떨어집니다.
  • 새로운 집단: 신제품 출시, 새 지역 진출, 정책 변경으로 학습 데이터에 거의 없던 입력이 들어옵니다.
  • 기록 없는 재학습: 월간 재학습 작업이 지난달 준비한 입력 파일을 덮어쓰면, 지표가 떨어졌을 때 두 시점을 비교할 수 없습니다.

분포 변화는 어떻게 찾아내고 대응하나요?

학습 데이터와 최근 데이터의 변수 분포, 레이블 분포를 통계 검정으로 비교하고, 레이블을 확보할 수 있으면 최근 데이터에서 모델 성능을 추적합니다.

분포 변화가 보이면 먼저 무엇이 바뀌었는지 확인합니다. 데이터인지, 레이블인지, 모델 설정인지, 평가 세트인지를 가립니다. 데이터셋 버전과 고정된 평가 조건이 남아 있으면 변경 전후 결과를 비교할 수 있고, 준비해 둔 데이터 중 무엇을 그대로 쓰고 무엇을 다시 준비·검증할지 정할 수 있습니다. 흔히 쓰는 대응으로는 최근 데이터로 재학습, 표본 가중치 조정, 새 조건을 담은 데이터 추가가 있습니다.

관련 항목: 모델 드리프트, 재현성, 스키마 드리프트.

자주 묻는 질문

분포 변화는 오류 없이도 일어날 수 있나요?

그렇습니다. 파이프라인과 모델은 대개 계속 실행되기 때문에, 데이터 분포를 비교하고 최근 레이블이 붙은 데이터로 성능을 추적해 찾아냅니다.

공변량 변화(covariate shift)란 무엇인가요?

입력 변수의 분포는 바뀌지만, 입력과 예측 대상 사이의 관계는 그대로인 분포 변화의 한 유형입니다.

분포 변화에는 어떻게 대응하나요?

최근 데이터로 다시 학습하기, 학습 샘플의 가중치 조정하기, 새 조건을 담은 데이터 추가하기, 현재 사용 환경을 반영한 평가 세트로 모델을 다시 검증하기가 대표적인 방법입니다.