안녕하세요. 기업 데이터가 AI 업무에 실제로 활용될 수 있도록 돕는 큐빅(CUBIG)입니다.
데이터팀은 형식을 통일하고, 중복을 제거하고, 결측값을 처리했습니다. 품질 검사도 통과했습니다. 그런데 같은 데이터를 모델에 연결하자 PoC에서 확인했던 성능이 나오지 않거나, 운영을 시작한 뒤 결과가 달라집니다.
이때 흔히 모델과 프롬프트부터 다시 점검합니다. 그러나 데이터가 ‘정제됐다’는 사실과 ‘AI가 활용할 준비가 됐다’는 사실은 같은 의미가 아닙니다.
정제 데이터는 데이터의 형식과 품질을 관리하는 위생 기준입니다. AI-Ready 데이터는 모델이 필요한 신호와 맥락을 읽고, 각 결과에 사용된 데이터 상태를 다시 확인할 수 있게 하는 실행 기준입니다.
정제 데이터는 무엇을 확인하나요?
데이터 정제는 반드시 필요합니다. 날짜가 문자열과 숫자로 섞여 있고, 같은 거래가 여러 번 기록되며, 필수 값이 비어 있다면 분석과 AI 모두 안정적으로 실행되기 어렵습니다.
일반적으로 정제 과정에서는 다음 항목을 확인합니다.
- 날짜, 숫자, 범주형 값의 형식이 맞는가
- 누락된 값을 삭제하거나 적절한 방식으로 처리했는가
- 중복 레코드가 제거됐는가
- 표기 방식과 단위가 일관적인가
- 민감한 식별정보가 내부 정책에 맞게 처리됐는가
이 과정을 통과한 데이터는 저장하고, 결합하고, 대시보드에 표시하기 수월합니다. 문제는 이 검사가 주로 데이터의 형태를 본다는 점입니다. 정제 후에도 모델이 판단에 사용해야 할 신호와 관계가 남아 있는지는 별도로 확인해야 합니다.
정제 과정에서 AI에 필요한 신호가 사라지는 경우
정제 작업 하나하나는 합리적일 수 있습니다. 그러나 무엇을 바꿨는지 기록하지 않거나 모델의 사용 목적을 고려하지 않으면, 잘 정리된 데이터가 오히려 AI에는 불완전한 입력이 됩니다.
1. 결측값을 일괄적으로 삭제하거나 채우는 경우
금융 거래 데이터에서 특정 확인 항목이 비어 있다고 가정해 보겠습니다. 이 빈칸은 시스템 오류일 수도 있지만, 해당 절차가 적용되지 않았거나 아직 확인이 끝나지 않았다는 뜻일 수도 있습니다.
모든 빈칸을 0이나 평균값으로 바꾸면 서로 다른 상황이 같은 값으로 합쳐집니다. 표는 완성돼 보이지만 모델은 ‘확인하지 않음’과 ‘문제없음’을 구분할 수 없게 됩니다.
2. 범주를 지나치게 넓게 묶는 경우
날짜를 분기 단위로 바꾸고, 연령을 10년 단위로 묶고, 세부 업무 코드를 상위 범주로 통합하면 보고서는 간결해집니다. 그러나 사건이 발생한 정확한 시점이나 세부 코드 사이의 차이가 모델에 중요한 신호라면 학습에 필요한 관계가 약해질 수 있습니다.
3. 드문 값을 오류로 보고 제거하는 경우
기업의 생산 데이터나 금융 이상거래 데이터에서는 자주 발생하지 않는 값이 중요한 경우가 많습니다. 극단값을 모두 오류로 간주해 삭제하거나 상한값으로 조정하면, 모델이 실제로 찾아야 할 희귀한 패턴까지 사라질 수 있습니다.
4. 민감한 값을 같은 기호로 바꾸는 경우
고객명, 기관명, 계약번호를 모두 [MASKED]로 바꾸면 원본 값은 보이지 않습니다. 그러나 여러 문서에 등장한 동일 고객이 같은 사람인지, 두 계약서가 같은 거래와 연결되는지와 같은 업무 관계도 함께 사라집니다.
이 경우 데이터는 처리 기준을 통과했지만, 모델이 요약·비교·추론에 사용해야 할 구조는 남지 않습니다.
정제 데이터와 AI-Ready 데이터의 차이
두 데이터의 차이는 정제 여부가 아니라, 어떤 업무를 위해 준비했는가에 있습니다.
정제 데이터가 AI-Ready 데이터가 될 수도 있습니다. 정제 과정에서 필요한 신호와 맥락을 유지하고, 실제 모델과 운영 조건으로 검증했으며, 실행에 사용된 데이터 상태를 추적할 수 있다면 두 기준을 모두 충족합니다.
반대로 품질 검사를 모두 통과했더라도 이 조건을 확인하지 않았다면, 데이터가 AI-Ready 상태라고 단정하기 어렵습니다.
AI-Ready 데이터에는 두 가지 조건이 더 필요합니다
AI-Ready 데이터는 크게 두 단계에서 정제 데이터와 차이가 납니다.
첫째, 모델이 학습하거나 참조할 신호가 남아 있어야 합니다
모델은 숫자와 문장을 그대로 읽는 것이 아니라 값 사이의 분포, 관계, 순서와 맥락을 읽습니다. 따라서 정제 후에도 다음을 확인해야 합니다.
- 빈칸이 단순 오류인지 업무 상태를 나타내는 값인지
- 단위와 코드의 의미가 데이터와 함께 전달되는지
- 필드 사이의 관계가 변환 후에도 유지되는지
- 드문 사례가 오류와 구분되어 남아 있는지
- 민감정보를 처리한 뒤에도 업무에 필요한 동일성과 구조가 유지되는지
데이터가 깔끔해졌는지만 보면 이 변화를 알기 어렵습니다. 실제 AI 업무에 연결한 뒤 모델이 읽어야 할 신호가 남아 있는지 검증해야 합니다.
둘째, 결과를 만든 데이터 상태로 돌아갈 수 있어야 합니다
정제 데이터는 현재 시점의 품질을 설명합니다. 그러나 운영 환경의 데이터는 계속 바뀝니다.
신규 레코드가 추가되고, 오래된 데이터가 빠지고, 스키마와 전처리 기준이 수정됩니다. 같은 모델 버전을 사용해도 모델이 받은 데이터가 달라지면 결과도 달라질 수 있습니다.
지난달에는 정상적으로 작동했던 모델이 이번 달에는 다른 결과를 냈다면 다음 질문에 답할 수 있어야 합니다.
- 두 실행에서 사용한 데이터 범위가 같았는가
- 필드 이름과 형식이 바뀌지 않았는가
- 결측값과 이상값 처리 기준이 달라지지 않았는가
- 참조한 규정, 코드표, 기준정보의 버전이 같았는가
- 각 실행에 적용된 접근 조건과 권한이 같았는가
모델 버전만으로는 이 질문에 답할 수 없습니다. 어떤 행과 스키마, 전처리 조건이 결과를 만들었는지 확인할 수 있는 고정된 데이터 상태가 필요합니다.
같은 차이가 산업별로 어떻게 나타날까요?
공공기관이 외부 LLM이나 RAG를 사용하고, 기업이 내부 문서를 AI에 연결하며, 금융기관이 AI 판단을 실제 업무에 반영할수록 이 차이는 커집니다. 통제와 정제는 출발점입니다. 실제 사용 가능성과 결과의 재현성까지 확인해야 운영 기준이 완성됩니다.
정제 데이터가 AI-Ready 상태인지 확인하는 방법
다음 질문으로 현재 데이터의 상태를 점검할 수 있습니다.
- 정제 과정에서 삭제·대체·통합한 값과 그 이유가 기록돼 있습니까?
- 빈칸, 코드, 단위와 이상값의 업무상 의미를 모델이 데이터만 보고 구분할 수 있습니까?
- 민감한 값을 처리한 뒤에도 동일 대상과 필드 사이의 관계가 유지됩니까?
- 현재 데이터가 목표 모델과 업무 지표에 적합한지 실제 환경에서 검증했습니까?
- 특정 결과에 사용된 데이터 범위와 전처리 조건을 확인할 수 있습니까?
- 정상 실행과 문제 실행의 데이터 상태를 비교하고 과거 상태를 다시 구성할 수 있습니까?
정제 여부만 확인하고 있다면 데이터 품질 관리 단계에 머물러 있을 가능성이 큽니다. AI 운영을 준비하려면 활용성, 무결성, 맥락, 일관성, 재현성, 추적성의 여섯 축을 함께 봐야 합니다.
Syntitan은 정제와 실행 사이의 차이를 확인합니다
Syntitan은 기업 데이터의 준비 상태를 진단하고, AI 실행을 막는 지점을 개선하며, 그 결과를 검증하는 AI-ready data platform입니다.
먼저 여섯 가지 준비도 축을 기준으로 정제 데이터에 남아 있는 실행 병목을 확인합니다. 구조와 맥락을 유지하면서 모델 사용을 막는 문제를 개선한 뒤, 실제 AI 실행에 사용된 데이터 상태를 고정합니다.
각 AI 또는 에이전트 실행을 해당 상태와 연결하면 결과가 달라졌을 때 정상 실행과 문제 실행 사이의 차이를 비교할 수 있습니다. 필요한 경우 과거 결과에 사용된 데이터 상태로 돌아가 다시 확인할 수도 있습니다.
정제가 데이터를 사용할 수 있는 형태로 만드는 일이라면, AI-Readiness는 그 데이터가 실제 AI 업무에서 작동하고 운영 중 결과를 설명할 수 있는지 증명하는 일입니다.
데이터 정제가 끝났다면, 이제 AI 실행에 필요한 신호와 상태가 남아 있는지 확인하세요.
