데이터 적격성 검증(data qualification)은 데이터셋이 특정 목적에 맞는지 확인하는 과정입니다. 범용 품질 점수와 달리 적격성 검증은 언제나 목표를 기준으로 삼습니다. 어떤 업무를 지원할 데이터인지, 어떤 모델이나 에이전트 버전이 쓸지, 무엇을 성공으로 볼지, 어떤 사례로 평가할지가 그 목표입니다. 같은 데이터셋이라도 한 업무에는 적격이고 다른 업무에는 부적격일 수 있습니다.
적격성 검증은 보통 네 부분으로 나뉩니다. 먼저 목표를 정합니다. 그다음 그 목표에 영향을 주는 부분만 관계와 맥락을 유지한 채 보완합니다. 이어서 통제된 비교를 합니다. 모델과 프롬프트, 평가 데이터, 환경은 그대로 두고 보완 전후의 데이터만 바꿔 결과를 견줍니다. 끝으로 결과를 기준과 견주어 판정합니다. 충족인지, 미충족인지, 근거가 부족해 판정 보류인지가 여기서 갈립니다.
예를 들어 고객 이탈 데이터셋이 완전성 점수는 높아도, 핵심 필드에 맥락이 빠져 특정 분류 모델에는 부적격일 수 있습니다. 적격성 검증을 하면 모델이 운영에 들어가기 전에 그 틈이 드러나고, 기록해 둔 판정이 이후 실행을 대조하는 기준이 됩니다.