모든 통합, 마이그레이션, 데이터 온보딩 프로젝트는 필드 매핑(field mapping)에서 시작합니다. 매핑에는 대상 필드마다 어떤 원본 필드에서 값을 가져오는지, 그 과정에서 값에 어떤 처리가 필요한지 기록합니다.
대표적인 항목은 다음과 같습니다.
- 한 형식의 날짜를 다른 형식으로 바꾸고, 통화 금액을 환산합니다
- 코드가 9개인 상태 열을 기업이 인정하는 4개 코드로 변환합니다
- 형식이 다른 두 식별자를 정규화해 레코드를 조인할 수 있게 합니다
- 어디에도 맞지 않는 값에는 기본값이나 예외 규칙을 적용합니다
어려운 부분은 변환보다 필드의 의미를 알아내는 일입니다. 이름이 같은 두 필드가 서로 다른 뜻일 수 있고, 어떤 값이 최신인지 두 시스템의 판단이 다를 수 있습니다. 그리고 답을 아는 사람은 대개 매핑을 하는 사람이 아닙니다.
AI 업무에서 필드 매핑은 업무 적합성을 처음 판단하는 지점이기도 합니다. 고객의 지역이 아니라 영업 담당자의 지역을 담은 region 열처럼, 의미가 아니라 이름만 보고 필드를 매핑하면 모델은 모든 행에서 자신 있게 틀린 답을 냅니다. 그래서 매핑은 업무에 필요한 기준으로 확인해야 합니다. 결정에 쓰이는 필드, 그 단위, 조인 키, 기업이 관행으로 처리하는 예외가 그 기준입니다.
매핑은 프로젝트 메모가 아니라 재사용 가능한 자산으로 남겨야 합니다. 매핑이 노트북에만 남아 있으면 forward deployed engineer는 고객사마다 같은 매핑을 다시 만들게 됩니다. Use Case별로 의미, 키, 예외를 담은 필드 프로필을 기록해 두면 다음 배포는 거기서 시작할 수 있습니다. Syntitan에서는 데이터셋 복사본에 적용한 준비 단계를 Project Version으로 기록하므로, 다음 파일이 들어왔을 때 같은 매핑과 예외 처리를 다시 적용할 수 있습니다. AI 데이터 준비는 업무에서 시작합니다에서는 그 프로필이 어떤 필드를 포괄해야 하는지 정하는 방법을 설명합니다.
필드 매핑은 데이터 프로파일링과 어떻게 다른가요?
데이터 프로파일링은 필드에 무엇이 들어 있는지 설명합니다. 유형, 결측값, 가장 자주 나오는 코드 같은 정보입니다. 필드 매핑은 그 필드가 대상에서 어떤 의미인지, 그 과정에서 어떤 처리가 필요한지를 정합니다. 두 작업은 서로 맞물려 있습니다. 프로필에서 상태 코드 9개가 확인되면 질문이 생기고, 매핑은 기업이 인정하는 4개가 무엇이고 나머지 5개를 어디로 보낼지 정해 그 질문에 답합니다.
- 프로파일링: 아무것도 결정하기 전에 얻는, 원본에 대한 측정된 사실입니다.
- 매핑: 대상 필드마다 정하는 의미, 변환, 예외에 대한 결정입니다.
- 순서: 먼저 프로파일링하고, 다음에 매핑하고, 마지막으로 매핑을 업무 기준으로 확인합니다.
AI 업무에서 필드 매핑은 어디서 문제가 되나요?
고객 테이블로 이탈 예측 모델을 학습시키는데, 이 테이블의 account_status는 청구 시스템의 필드를 이름만 보고 매핑한 것입니다. 청구 시스템에서는 ‘미납으로 인한 일시 정지’와 ‘고객 요청에 의한 일시 정지’가 하나의 코드로 묶여 있고, 두 집단의 이탈률은 크게 다릅니다. 모델은 하나의 평균을 학습해 두 집단을 모두 놓칩니다. 청구팀에서는 이 구분이 필요한 적이 없었기 때문에 누구도 기록해 두지 않았습니다.
확인 방법은 간단히 정리할 수 있습니다. 업무가 의존하는 모든 필드에 대해 담당자와 함께 의미를 확인하고, 단위와 형식, 조인 키, 관행으로 처리하는 예외를 확인합니다. 그리고 그 결과를 다음 파일과 다음 고객이 재사용할 수 있는 곳에 기록합니다. Syntitan은 준비 단계를 Version으로 남겨 이 결과를 기록합니다.