Data Transformation이란?

한 구독 서비스 기업이 세 시스템의 데이터로 이탈 예측 모델을 준비합니다. 결제 시스템은 현지 시간으로 시각을 저장하고, CRM은 자체 제품 코드를 쓰며, 고객지원 도구는 문의 한 건을 한 행으로 남깁니다. 학습 전에 팀은 모든 시각을 하나의 시간대로 맞추고, 제품 코드를 공통 목록에 대응시키고, 문의 기록을 고객별 주간 건수로 집계합니다.

데이터 변환(data transformation)은 데이터를 저장, 결합, 분석하거나 머신러닝 모델에 쓸 수 있도록 형식, 구조, 값 체계를 다른 형태로 바꾸는 과정입니다.

대표적인 작업으로는 타입 변환, 정규화, 집계, 테이블 조인, 원-핫 인코딩 같은 범주형 필드 인코딩, 파생 컬럼 생성이 있습니다. 데이터 변환은 ETL과 ELT의 T에 해당하며, 두 방식은 대상 시스템에 적재하기 전에 변환하는지 후에 변환하는지가 다릅니다.

머신러닝에서는 컬럼 평균을 학습하는 스케일러처럼 데이터에 맞춰 학습하는 변환이 많습니다. scikit-learn의 파이프라인·복합 추정기 가이드는 스케일러나 결측값 대체기 같은 전처리 단계에 테스트 데이터의 통계가 섞이면 교차 검증 점수를 믿을 수 없게 된다고 설명합니다. ColumnTransformer를 쓰면 이런 데이터 누수 없이 파이프라인 안에서 컬럼마다 다른 변환을 적용할 수 있습니다.

데이터 변환은 데이터 정제와 어떻게 다른가요?

  • 데이터 정제는 중복, 잘못된 값, 제각각인 표기 같은 오류를 바로잡습니다.
  • 데이터 변환은 단위, 형식, 인코딩, 집계 수준처럼 데이터의 구조나 표현 방식을 바꿉니다.
  • 대부분의 파이프라인은 데이터 준비 과정에서 둘을 함께 수행합니다. 정제는 틀린 값을 고치고, 변환은 맞는 값의 표현 방식을 바꿉니다.

AI 업무에서 데이터 변환은 어디서 문제를 일으키나요?

  • 낡은 대응표: 설문 업체가 평점 척도를 뒤집어 5점의 의미가 정반대가 됩니다. 컬럼 이름, 타입, 스키마는 그대로라서 5점을 매우 만족으로 처리하던 변환이 계속 실행됩니다.
  • 잘못된 데이터에 맞춘 변환: 데이터를 나누기 전에 전체 데이터로 스케일링이나 인코딩을 학습하면 평가 데이터의 정보가 학습으로 새어 들어갑니다.
  • 모든 업무에 같은 변환: 이탈 예측에 맞는 주간 집계가 사기 탐지 모델에 필요한 이벤트 시점 정보를 지워 버릴 수 있습니다.
  • 기록 없는 단계: 변환이 저장되지 않은 노트북 셀에만 있으면, 나중에 어떤 학습 세트가 어떤 버전의 변환으로 만들어졌는지 아무도 답할 수 없습니다.

데이터 변환은 어떻게 안정적으로 관리하나요?

변환은 버전을 관리하는 재실행 가능한 코드로 작성하고, 학습 데이터에만 맞춰 학습한 뒤 평가 데이터와 운영 입력에 같은 단계를 그대로 적용합니다. 원천 시스템이 바뀌면 다음 실행 전에 데이터 담당자와 필드의 의미를 확인하고 필드 매핑을 고칩니다. 스키마가 유효하다고 해서 값의 의미까지 그대로라는 보장은 없기 때문입니다.

단계마다 기록을 남기면 재현성과 데이터 리니지를 확보할 수 있습니다. 어떤 결과가 정확히 어떤 변환을 거쳤는지 추적하고, 같은 평가 조건에서 변경 전후 결과를 비교할 수 있습니다.

관련 항목: 피처 엔지니어링, 스키마 드리프트, 데이터 버전 관리.

자주 묻는 질문

데이터 변환에는 어떤 예가 있나요?

자료형 변환, 숫자 범위 정규화, 범주 인코딩, 테이블 병합, 레코드 집계, 날짜 형식 통일 등이 있습니다.

변환은 데이터를 나누기 전에 학습하나요, 나눈 뒤에 학습하나요?

나눈 뒤입니다. 스케일링, 인코딩, 결측값 대체 같은 단계는 학습 데이터에만 맞춰 학습하고, 그 결과를 평가 데이터와 운영 데이터에 그대로 적용해야 데이터 누수를 막을 수 있습니다.

데이터 파이프라인의 어느 단계에서 변환하나요?

ETL에서는 대상 시스템에 적재하기 전에 변환합니다. ELT에서는 원천 데이터를 먼저 적재한 뒤 클라우드 데이터 웨어하우스 같은 대상 시스템 안에서 변환합니다.