안녕하세요. 기업 데이터가 AI 업무에 실제로 활용될 수 있도록 돕는 큐빅(CUBIG)입니다.
아래 장면은 설명을 위한 가상 상황이며, 실제 고객 사례는 아닙니다. 한 B2B 소프트웨어 회사가 한 분기 동안 고객 데이터를 정리했다고 가정해 보겠습니다. 여러 시스템에 흩어져 있던 고객사 계정 기록을 서로 잇고, 깨진 계정 ID를 고치고, 모든 시각을 한 가지 시간대로 맞췄습니다. 그러자 두 팀이 이 데이터를 쓰겠다고 나섰습니다. 데이터 사이언스팀은 해지할 고객사를 예측하는 모델을, 고객지원팀은 고객 문의에 보낼 답변 초안을 만드는 AI 에이전트를 준비하고 있었습니다. 두 팀 모두 데이터 전처리가 끝났다고 기대했지만, 막상 써 보니 각자 다른 이유로 그대로는 쓸 수 없었습니다.
AI 업무를 위한 데이터 전처리는 데이터가 아니라 그 데이터를 쓸 업무에서 시작합니다.
함께 정리한 작업은 충분히 가치가 있고, 상당 부분을 다음 업무에도 이어서 쓸 수 있습니다. 다만 무엇을 데이터 한 건으로 볼지, AI가 어느 시점까지의 데이터를 볼 수 있는지, 항목이 무슨 뜻인지, 무엇을 뺄지, 결과를 어떻게 확인할지는 업무마다 따로 정해야 합니다. 앞선 업무에서 정한 답을 다시 쓸 수도 있지만, 새 업무에도 맞는지는 짐작하지 말고 확인해야 합니다. AI-Ready Data(AI 레디 데이터)는 쓰려는 AI 업무와 모델에 맞게 준비되어 있고, 조건이 바뀐 뒤에도 다시 검증할 수 있는 데이터 상태를 말합니다. 데이터가 이 상태인지도 결국 업무를 기준으로 판단합니다.
데이터 전처리의 기본 뜻과 네 단계는 네이버 블로그 용어사전 「데이터 전처리 뜻」에 정리해 두었습니다. 이 글은 그다음 이야기로, 한 번 다듬은 데이터를 여러 AI 업무에 쓸 때 어디서 준비가 갈리는지 다룹니다.
핵심 요약
- AI 업무를 위한 데이터 전처리는 여러 업무가 함께 쓰는 공통 기반과, AI 업무마다 확인해야 하는 업무 조건으로 이루어집니다.
- 같은 고객 데이터라도 이탈 예측 모델과 상담 답변 에이전트는 데이터 한 건의 단위, 기준 시점, 항목의 뜻, 뺄 데이터, 평가 데이터가 다릅니다.
- 식별자와 형식, 기록 연결, 일부 준비 규칙은 새 업무로 이어 쓸 수 있지만, 기준 시점과 입력, 평가 조건은 다시 확인해야 합니다.
데이터 전처리의 핵심: 공통 기반과 업무 조건
AI 업무를 위한 데이터 전처리는 회사 데이터를 특정 AI 업무에 쓸 수 있는 상태로 만드는 일이며, 크게 두 부분으로 나뉩니다. 하나는 공통 기반으로, 여러 시스템의 기록을 이어 주는 식별자, 통일한 형식과 시간대, 데이터마다 어디서 왔는지 적은 출처 기록이 여기에 들어갑니다. 공통 기반은 여러 업무가 함께 쓰고, 활용 목적을 정하기 전에도 작업을 시작할 수 있습니다.
공통 기반도 신중하게 다뤄야 합니다. 중복처럼 보이는 기록이 실제로는 같은 일이 되풀이된 것일 수 있고, 옛 요금제 코드에는 지금과 다른 계약 조건이 담겨 있을 수 있습니다. 그래서 공통 기반에서는 원본 값을 덮어쓰지 않고 원본과 변경 이력을 함께 남겨 둡니다.
다른 하나는 업무에 따라 정해지는 조건입니다. 데이터 한 건의 단위, AI가 볼 수 있는 기준 시점, 항목의 뜻, 뺄 데이터, 남길 관계, 결과를 확인하는 방법이 여기에 해당하며, 업무와 성공 기준이 정해져야 확정할 수 있습니다. 회사가 공통 업무 용어의 정의를 한곳(시맨틱 레이어, semantic layer)에 모아 두었더라도, 그 위에 업무마다 더해야 할 조건(영문)이 남습니다.
업무에 따라 달라지는 여섯 가지 결정
앞의 장면에서 두 업무의 데이터 전처리는 여섯 가지 결정에서 갈립니다. 같은 고객 데이터에서 출발한 두 업무를 나란히 놓으면 아래와 같습니다.
에이전트 쪽은 어떤 평가를 하는지부터 정해야 합니다. 지난 문의를 당시 알 수 있었던 정보만 넣어 에이전트에 다시 물어보면, 에이전트가 과거 상황을 제대로 처리하는지 확인할 수 있습니다. 지금 기준의 답변을 시험하려면, 현재 정책에 맞춰 누군가 검토하고 고쳐 둔 모범 답변이 있어야 합니다. 옛 답변을 기준으로 채점하면 지금 맞는 답도 틀린 것으로 처리될 수 있습니다.
위 표의 두 열은 어느 쪽이 더 잘 준비된 것이 아니라, 쓰려는 업무가 다를 뿐입니다. 문제는 한 팀이 다른 팀의 표를 확인 없이 가져다 쓸 때 생깁니다. 고객지원팀이 계정마다 지금 상태를 적어 둔 표로 데이터 사이언스팀이 모델을 학습시키면, 모델은 계정마다 지금의 요금제 상태를 보게 되는데 이미 해지한 계정에는 「해지」라고 적혀 있습니다.
이런 경우를 데이터 누수(leakage)라고 하며, scikit-learn 공식 문서는 예측하는 시점에는 알 수 없는 정보가 모델을 만들 때 쓰이는 경우로 설명합니다. 같은 표로 평가 데이터를 만들면 평가에도 같은 누수가 섞여, 실제로 썼을 때보다 모델이 좋아 보입니다. 평가 기간을 따로 떼어 두는 것만으로는 부족합니다. 입력값 하나하나가 예측 시점에 실제로 알 수 있던 값인지도 함께 확인해야 합니다.
반대로 고객지원팀이 이탈 예측용 표를 쓰면, 에이전트는 계정별 월간 요약만 받게 되고 답변에 필요한 문의 내용, 계약 조건, 승인된 예외는 받지 못합니다.
고객지원 쪽 칸을 보면 예외를 따로 다뤄야 하는 이유도 알 수 있습니다. 한 고객에게 한 번만 허용한 조건도 날짜와 적용 범위가 빠진 채 요약에 들어가면 늘 적용되는 규칙처럼 읽힙니다. 기한이 끝난 예외가 AI 요약에 그대로 남은 사례(영문)도 참고해 보세요.
다음 AI 업무로 넘길 때 다시 확인할 조건
새 AI 업무에서는 공통 기반과 앞선 업무의 작업 일부를 다시 쓸 수 있지만, 새 업무의 기준 시점과 입력, 평가 조건에 맞는지는 확인해야 합니다. 다음 분기에 상위 요금제를 제안할 고객사를 추천하는 세 번째 모델을 만든다고 가정해 보겠습니다. 문의와 계약을 잇는 연결 정보는 그대로 이어지고, 같은 요금제의 옛 코드와 새 코드를 합치는 규칙도 이어 쓸 수 있습니다. 이탈 예측용으로 계정마다 계산해 둔 값(예: 월별 사용량 변화)은 업그레이드 모델의 예측 기준일에 맞춰 다시 계산해야 쓸 수 있습니다. 평가 데이터도 업그레이드 모델을 평가하는 기준에 맞춥니다.
데이터가 바뀔 때도 같은 일이 생깁니다. 공통 기반에 새 출처가 들어오거나 항목 하나를 고치면, 공통 규칙을 다시 적용하고 그 기반을 쓰는 업무마다 점검을 다시 해야 합니다. 그러지 않으면 결과가 달라졌을 때 원인이 모델에 있는지 데이터에 있는지 가리기 어렵습니다.
AI 업무가 하나 늘 때마다, 업무마다 무엇을 다시 썼고 무엇을 바꿨으며 무엇을 확인했는지 남길 기록도 함께 늘어납니다. 큐빅은 이 기록을 Syntitan에 담아, 프로젝트마다 같은 기록을 처음부터 다시 만들지 않아도 되게 했습니다.
한 AI 제품을 새 고객사에 들일 때도, 무엇을 이어 쓰고 무엇을 다시 확인할지가 같은 방식으로 갈립니다. 이 이야기는 「두 번째 AI 도입이 물려받아야 할 것(영문)」에 이어집니다.
AI 업무를 위한 데이터 전처리 순서
- 업무와 결과물부터 정합니다. 데이터를 정하기 전에 AI로 무엇을 만들어 누구에게 전달할지, 좋은 결과를 어떻게 판단할지 적습니다.
- 원본을 잃지 않게 공통 기반을 만듭니다. 식별자와 형식, 출처를 공통 규칙으로 맞추되 원본 값과 변경 이력은 남기고, 데이터가 바뀌면 규칙을 다시 적용합니다.
- 다시 쓸 것과 새로 확인할 것을 나눕니다. 데이터 한 건의 단위, 기준 시점, 항목의 뜻, 뺄 데이터, 남길 관계, 평가 방법마다 앞선 업무의 선택이 지금도 맞는지 확인하고, 그 선택과 이유를 준비한 데이터 옆에 기록합니다.
- 평가 데이터는 업무와 함께 만듭니다. 예측 모델이라면 뒤쪽 기간을 따로 떼어 두고 모든 입력값이 예측 시점에 알려져 있었는지 확인합니다. 에이전트라면 당시 정보로 지난 사례를 다시 돌려 볼지, 현재 정책으로 검토한 답변과 비교해 지금의 답을 시험할지 정합니다.
- 조건을 고정하고 전후를 비교합니다. 예측 모델은 데이터가 바뀌면 보통 다시 학습하므로, 모델 종류, 학습 설정, 평가 데이터, 지표를 그대로 둡니다. 에이전트는 모델 버전, 프롬프트, 검색 설정은 그대로 두고 참고하는 데이터만 바꿉니다.
- 공통 기반이 바뀌면 그 기반을 쓰는 업무를 다시 점검합니다. 어떤 업무가 그 기반을 쓰는지 목록으로 두고, 바뀐 뒤에는 결과가 그대로라고 가정하지 말고 점검을 다시 합니다.
데이터가 AI-Ready Data인지는 업무를 기준으로 판단해야 하고, 위 순서는 업무 하나를 두고 그 판단을 내리는 방법입니다. 업무를 고르기 전에 지금 데이터가 어떤 상태인지 먼저 짚어 보려면 AI-Readiness 진단 글을 참고하세요.
데이터 전처리에서 Syntitan이 맡는 일
업무가 무엇인지, 어떤 결과를 좋은 결과로 볼지, 앞의 여섯 가지 결정은 그 업무를 맡은 팀이 정합니다. 큐빅의 AI-ready data platform인 Syntitan은 이 결정에 따른 데이터 작업을 실행하고 기록합니다. Ready for Raw Data는 공통 기반을 다루며 활용 목적을 정하기 전에도 시작할 수 있습니다. 여섯 축으로 진단하고, 처리에 성공할 때마다 새 Version을 만듭니다. 한 활용 목적을 위한 Project에서는 고객 데이터의 구조, 항목의 뜻과 단위, 업무 용어, 관계처럼 그 업무에 필요한 조건을 다룹니다.
그다음 Ready for Model에서 모델 업무와 평가 조건을 정하고, 준비한 데이터가 팀이 합의한 기준을 충족하는지 확인합니다. 어떤 변환과 모델, 에이전트, 연동을 쓸 수 있는지는 구성에 따라 다르며, 모든 경로를 순서대로 거치지 않고 지금 답할 질문에서 시작합니다.
데이터 버전마다 어떻게 준비했는지, 전후 비교 근거, 평가 조건, 검증 결과가 함께 남습니다. 그래서 다음 업무에서는 이미 있는 작업에서 출발해 확인이 필요한 조건을 검토하는 데 시간을 쓸 수 있습니다. 공통 기반이 바뀌면 팀은 버전 히스토리에서 이전 버전 이후 바뀐 내용을 확인하고, 그 기반을 쓰는 업무마다 검증을 다시 해야 합니다.
팀이 이미 계획한 AI 업무 하나를 골라, 그 업무의 여섯 가지 결정을 적어 보세요. 결정마다 앞선 작업에서 가져온 것인지 새로 정한 것인지 표시하고, 이 업무에 맞는다는 근거를 함께 남깁니다. 그런 근거가 없다면 그 결정은 아직 내리지 않은 것으로 봐야 합니다. 데이터 쪽 작업이 어떻게 이어지는지는 Syntitan 제품 페이지에서 확인할 수 있습니다.
