평가 세트(evaluation set)가 있어야 결과를 비교할 수 있습니다. 두 모델 버전을 서로 다른 레코드로 채점하면, 점수 차이에 모델의 변화와 테스트의 변화가 섞입니다. 다른 설정도 고정한다는 전제에서 두 버전을 같은 레코드로 채점하면, 테스트는 차이의 원인에서 빠집니다.
쓸모 있는 평가 세트에는 네 가지 특성이 있습니다.
- 학습은 물론, 데이터에서 무언가를 학습하는 모든 단계와 분리되어 있습니다.
- 업무에서 만나게 될 사례를 반영하며, 비즈니스가 중요하게 여기는 예외도 포함합니다.
- 정답에 오류가 있으면 모든 점수가 왜곡되므로 레이블을 검수합니다.
- 버전을 관리하므로 데이터나 모델이 바뀌어도 같은 세트를 다시 쓸 수 있습니다.
평가 세트는 검증 세트와 어떻게 다른가요?
- 검증 세트(validation set)는 개발 중에 설정을 튜닝하고 선택지를 고르는 데 씁니다. 이런 선택에 영향을 주기 때문에 점점 독립성을 잃습니다.
- 이 글에서 말하는 평가 세트는 테스트 세트입니다. 결과를 보고하고 버전을 비교하는 데 쓰며, 어떤 튜닝에도 써서는 안 됩니다. 일부 도구는 검증 세트를 ‘eval set’이라고 부르므로, 점수가 어느 세트에서 나왔는지 확인해야 합니다.
- 홀드아웃 세트는 작업을 시작하기 전에 데이터 일부를 떼어 두는 방식으로, 둘 중 어느 쪽이든 만들 수 있습니다.
AI 업무에서 평가 세트는 어디서 문제가 되나요?
한 팀이 새로운 데이터 준비 방식으로 모델이 개선되었다고 보고했지만, 평가 레코드는 준비 후에 다시 샘플링한 것이었습니다. 이전의 어려운 사례 일부가 빠지면서, 개선분의 일부는 더 쉬워진 테스트에서 나왔습니다. 일부러 세트를 바꾼 사람은 없었습니다. 데이터와 함께 다시 생성되었을 뿐입니다.
평가 세트를 고정하고 어떤 버전을 썼는지 기록해야 전후 비교가 의미를 가집니다. Syntitan의 Ready for Model은 같은 평가 조건에서 준비 전후 데이터로 업무를 실행합니다. AI를 위한 데이터 품질에서 설명하는 비교가 바로 이것입니다.