데이터 프로파일링(data profiling)은 데이터셋을 바탕으로 무언가를 만들기 전에 ‘이 안에 실제로 무엇이 들어 있는가’라는 질문에 답합니다. 팀은 보통 마이그레이션, 통합, 품질 개선 프로그램을 시작할 때 프로파일링을 실행합니다.
프로파일은 컬럼별로 다음 내용을 보고합니다.
- 데이터 타입과 형식, 누락값과 고유값의 개수
- 숫자 필드의 최솟값, 최댓값, 분포
- 범주형 필드에서 가장 자주 나오는 값, 그리고 서로 다른 두 형식을 따르는 식별자처럼 텍스트에 나타나는 패턴
- 여러 컬럼에 걸친 후보 키, 두 테이블을 잇는 필드, 값 사이의 종속 관계
프로파일링 결과는 데이터 품질 규칙의 바탕이 됩니다. 프로파일에서 소득 컬럼의 24%가 비어 있다는 사실이 드러나면, 규칙으로 그 수준을 허용할지 결정합니다.
AI 업무에서 데이터 프로파일링은 준비의 첫 단계이지 마지막 단계가 아닙니다. 프로파일은 데이터를 설명할 뿐, 데이터가 업무에 맞는지는 말해 주지 않습니다. 형식이 일관되고 중복이 없어 프로파일상으로는 깨끗한 테이블이라도, 모델이 처리해야 할 예외 하나가 빠져 있을 수 있습니다. 업무가 가정한 것과 다른 의미의 값이 담긴 필드가 있을 수도 있습니다.
그래서 프로파일은 업무에 비추어 읽어야 합니다. 업무가 어떤 필드에 의존하는지, 어떤 레코드가 예외인지, 어떤 결과를 정답으로 볼지를 함께 봅니다. Syntitan의 Ready for Raw Data는 이런 진단을 6개 축(사용성, 무결성, 맥락성, 일관성, 재현성, 추적성)에 걸쳐 수행하는 데서 시작합니다. 기존 프로파일에 AI 업무에 필요한 맥락과 추적성을 더하고, 적용한 준비 단계를 프로젝트 Version으로 기록합니다. AI 준비도 평가에서 6개 축을 읽는 방법을 설명하고, 데이터 품질 차원에서 프로파일이 보통 보고하는 측정 항목을 다룹니다.
데이터 프로파일링은 AI 준비도 평가와 어떻게 다른가요?
프로파일은 데이터를 있는 그대로 측정합니다. AI 준비도 평가는 그 측정값을 하나의 AI 업무에 비추어 판단합니다. 프로파일이 어떤 컬럼의 4분의 1이 비어 있다고 보고하면, 평가는 그 컬럼이 업무가 의존하는 컬럼인지, 비어 있는 행이 바로 모델이 처리해야 할 사례인지를 묻습니다.
- 프로파일링: 특정 업무를 전제하지 않고 타입, 범위, 누락값과 중복값, 키와 종속 관계를 봅니다.
- 준비도 평가: 하나의 Use Case를 기준으로 사용성, 무결성, 맥락성, 일관성, 재현성, 추적성을 읽습니다.
- 관계: 프로파일은 평가의 입력값이며, 프로파일이 깨끗하다고 해서 그것만으로 업무 기준을 통과하지는 않습니다.
AI 업무에서 데이터 프로파일링은 어디서 문제가 되나요?
한 대출 팀이 부도 예측 모델을 학습하기 전에 대출 테이블을 프로파일링합니다. 모든 컬럼의 타입이 맞고, 중복은 제거되었고, 누락값은 허용 가능한 비율 안에 있습니다. 그런데도 모델은 검토 단계에서 실패합니다. income 필드에 두 원천 시스템에서 온 월 소득과 연 소득이 섞여 있었는데, 프로파일은 이를 깨끗한 숫자 범위 하나로 보고했기 때문입니다.
프로파일링은 제 역할을 했고, 빠진 것은 업무 기준 점검이었습니다. 프로파일링 후에는 의사결정이 의존하는 각 필드를 업무에 비추어 읽어야 합니다. 값이 무엇을 뜻하는지, 어떤 단위인지, 어떤 레코드가 예외인지, 어떤 결과를 정답으로 볼지 확인합니다. Syntitan에서는 이 과정이 Ready for Raw Data 진단이며, 다음 추출본이 들어오면 다시 반복합니다.