일관성 문제는 오류처럼 보이지 않을 수 있습니다. 한 시스템은 매출을 천 단위로 저장하고 다른 시스템은 1 단위로 저장합니다. 영업팀은 성사된 거래를 WON으로, 재무팀은 4로 코드화합니다. 날짜는 어떤 추출 파일에서는 일-월 순서로, 다른 파일에서는 월-일 순서로 들어옵니다. 각 출처는 그 자체로는 유효합니다. 문제는 이들을 합칠 때 드러납니다.
비교할 곳은 다음과 같습니다.
- 같은 데이터의 스키마와 필드 이름
- 같은 상태나 범주를 나타내는 코드 값
- 단위, 통화, 시간대를 포함한 날짜·시간 형식
- 활성 고객의 기준처럼 팀마다 다르게 쓰는 정의
일관성을 바로잡으려면 각 표현을 하나의 규칙에 매핑합니다. 실제로 다른 차이까지 합쳐서는 안 됩니다. 이탈 계정을 서로 다르게 정의하는 두 사업부가 있다면, 한쪽 정의로 다른 쪽을 덮어쓰지 말고 두 정의를 모두 남겨 라벨을 붙여야 합니다.
데이터 일관성은 데이터 무결성과 어떻게 다른가요?
- 더 넓은 용어인 데이터 무결성은 데이터 수명 주기 전반의 정확성, 완전성, 일관성을 포괄합니다. 준비 상태를 보는 축으로서 Integrity(무결성)는 결측값, 잘못된 입력, 중복, 끊어진 참조처럼 값이 유효하고 완전한지를 묻습니다.
- 데이터 일관성은 데이터셋, 팀, 시점이 달라도 같은 의미를 같은 방식으로 표현하는지를 묻습니다.
- 테이블이 모든 Integrity 검사를 통과해도, 조인하는 다른 테이블과는 일관되지 않을 수 있습니다.
AI 업무에서 데이터 일관성은 어디서 문제가 되나요?
두 지역의 주문 이력으로 예측 모델을 학습시킵니다. 한 지역은 수량을 박스 단위로, 다른 지역은 낱개 단위로 기록하고, 두 열의 이름은 모두 qty입니다. 합친 테이블은 검증을 통과하고 모델도 학습되지만, 예측값에 박스와 낱개가 섞여 두 지역의 예측을 더하거나 비교할 수 없습니다. 모든 값이 유효한 숫자이므로 유형 검사나 null 검사로는 잡히지 않습니다.
확인 방법은 출처를 합치기 전에 서로 비교하는 것입니다. 스키마, 코드 목록, 단위, 형식, 그리고 필드마다 담당자가 정한 정의를 비교합니다. Syntitan에서 일관성은 Ready for Raw Data가 진단하는 6개 축 중 하나이며, 사용성, 무결성, 맥락성, 재현성, 추적성과 함께 봅니다. AI를 위한 데이터 품질에서는 6개 축이 업무 기준의 준비 전후 테스트와 어떻게 맞물리는지 설명합니다.