region이라는 컬럼에는 고객의 지역이 들어 있을 수도 있고, 영업 담당자의 관할 구역이나 주문을 출고한 창고가 들어 있을 수도 있습니다. 세 경우 모두 값은 똑같아 보입니다. 이 중 무엇인지 사람이나 모델에게 알려 주는 정보가 데이터 맥락(data context)입니다.
맥락의 근거는 테이블 밖에 있습니다.
- 데이터 사전이나 카탈로그 항목
- 어떤 주문을 매출로 집계하는지 같은 비즈니스 규칙
- 예외 사례를 어떻게 기록하는지 보여 주는 예시
- 필드 담당자가 확인한, 해당 필드의 현재 의미
이런 정보가 없으면 사람은 빈 곳을 가정으로 채웁니다. AI 모델이나 에이전트도 마찬가지이며, 가정했다는 사실을 알리지 않을 수도 있습니다.
데이터 맥락은 기술 메타데이터와 어떻게 다른가요?
- 기술 메타데이터는 필드의 타입, 크기, 원천 테이블, 갱신 주기를 설명합니다.
- 용어집 정의나 담당자 같은 비즈니스 메타데이터는 데이터 맥락의 일부입니다. 업무에 필요한 맥락에는 그 업무가 의존하는 단위, 관계, 예외도 들어 있어야 합니다.
- 카탈로그는 둘 다 담을 수 있지만, 업무에 쓰는 필드의 비즈니스 측면까지 담고 있는지는 따로 확인해야 합니다. 데이터 계보는 필드가 어디서 왔는지 보여 줄 뿐, 그 필드가 무엇을 뜻하는지는 알려 주지 않습니다.
AI 업무에서 데이터 맥락은 어디서 문제가 되나요?
연체 청구서에 관한 질문에 답하는 에이전트가 due_date를 읽습니다. 대부분의 고객에게 이 값은 결제 기한입니다. 하지만 결제 기간을 연장한 고객의 경우, 재무팀은 실제 기한을 별도 필드에서 관리하고 due_date는 임시값으로 취급합니다. 테이블 어디에도 이 사실은 적혀 있지 않습니다. 그래서 에이전트는 임시 날짜가 지나면 기간을 연장한 고객을 연체로 표시합니다.
해결하려면 의미, 단위, 관계, 예외를 데이터와 함께 기록하고 데이터를 준비할 때도 유지해서, 업무와 모델이 같은 정의를 읽게 해야 합니다. Syntitan에서 맥락성은 Ready for Raw Data가 진단하는 6개 축 중 하나이며, 데이터 사전, 비즈니스 규칙, 예시, 담당자 확인을 근거로 삼습니다. 필드 매핑은 각 필드의 의미를 확인하는 단계 중 하나입니다. 빠진 의미가 비즈니스 규칙이나 예외라면 AI가 비즈니스 규칙과 예외를 놓치는 이유에서 어디를 살펴봐야 하는지 다룹니다.