라벨은 모델 학습을 염두에 두지 않은 사람과 프로세스가 만드는 경우가 많습니다. 바쁜 근무가 끝날 무렵 드롭다운에서 분류를 고릅니다. 결과 필드를 한 시스템에서는 갱신하고 다른 시스템에서는 갱신하지 않습니다. 무엇을 사기로 볼지에 대한 규칙이 연중에 바뀌어도, 이전 레코드에는 옛 의미가 그대로 남습니다.
라벨 노이즈가 생기는 원인은 다음과 같습니다.
- 시간 압박 속에서, 또는 불분명한 지침에 따라 수행한 수동 라벨링
- 늦게 갱신되거나 아예 갱신되지 않는 결과 필드
- 정의는 시간이 지나며 바뀌었지만 과거 기록에는 옛 라벨이 남은 경우
- 서로 다른 분류 체계를 쓰던 출처에서 합친 라벨
라벨 노이즈는 피처 노이즈와 어떻게 다른가요?
- 피처 노이즈(feature noise)는 금액 오타나 잘못된 날짜처럼 입력값에 생긴 오류입니다. 모델이 사용하는 신호를 흐리게 만듭니다.
- 라벨 노이즈는 정답에 생긴 오류입니다. 모델에 잘못된 대응 관계를 가르치고, 점수도 왜곡합니다. 평가 라벨 역시 틀렸을 수 있기 때문입니다.
- 피처 노이즈는 검증 규칙으로 찾는 경우가 많습니다. 라벨 노이즈는 출처 간 비교나 모델 신뢰도로 의심 사례를 표시할 수 있지만, 확정하려면 결과를 책임지는 담당자의 검토가 필요합니다.
AI 업무에서 라벨 노이즈는 어디서 문제가 되나요?
한 청구 모델을 5년 치 결과로 학습시킵니다. 3년 차에 회사가 부분 지급을 기록하는 방식을 바꿨고, 그 뒤로 해당 청구는 부분 승인이 아니라 승인으로 라벨링되었습니다. 모델은 한 라벨에 두 가지 의미를 학습하고, 최근 청구에서의 점수는 코드만 봐서는 누구도 알 수 없는 이유로 흔들립니다.
이를 찾아내려면 결과 담당자와 함께 표본을 검토하고, 라벨 정의가 언제 바뀌었는지 기록해 두어야 합니다. Syntitan의 Ready for Raw Data에서 일관성 축은 같은 코드가 출처와 시점이 달라도 같은 의미를 갖는지 확인하며, 이 기준은 라벨 값에도 적용됩니다. 평가 세트가 사용하는 정답 데이터(ground truth)도 같은 방식으로 확인해야 합니다.