보고서의 숫자나 모델 출력에 의문이 제기될 때, 추적성이 있어야 팀은 세 가지에 답할 수 있습니다. 값이 어디서 시작되었는지, 어떤 처리를 거쳤는지, 어떤 버전이 사용되었는지입니다. 추적성이 없으면 조사는 파이프라인, 노트북, 공유 드라이브를 뒤지는 일이 됩니다.
추적 가능한 기록은 다음 항목을 연결합니다.
- 변경 없이 보존한 원래 출처
- 각 파생 버전과 그 버전을 만든 규칙 또는 단계
- 각 버전이 전달된 곳과 그곳에서 적용되었는지 여부
- 그 버전을 사용한 실행이나 보고서
마지막 두 항목은 혼동하기 쉽습니다. 버전이 전달되었지만 적용되지 않을 수 있고, 적용되었지만 실행에 쓰이지 않을 수도 있습니다. 따라서 준비, 전달, 실행 이력은 각각 별도 기록으로 남겨야 합니다.
데이터 추적성은 데이터 계보와 어떻게 다른가요?
- 데이터 계보(data lineage)는 데이터가 테이블, 컬럼, 작업 사이에서 어떻게 이동하고 변환되는지 보여 주는 지도입니다. 도구는 파이프라인 코드나 쿼리 로그를 바탕으로 계보를 구성합니다.
- 추적성은 특정 데이터 버전이 어디에 전달되고 적용되었으며 어떤 실행에 쓰였는지 따라갑니다. 여기에는 계보 그래프가 담지 못하는 단계도 포함됩니다.
- 컬럼 수준 계보는 어떤 컬럼에 무엇이 들어가는지 보여 줄 수 있습니다. 추적성은 여기에 더해 특정 결과가 그 컬럼의 어느 버전을 사용했는지도 보여 줍니다.
AI 업무에서 데이터 추적성은 어디서 문제가 되나요?
재학습 뒤 신용 모델의 승인율이 바뀝니다. 데이터 팀은 학습 테이블이 갱신된 사실은 알지만, 그 갱신에 지난달 수정한 소득 필드가 포함되었는지, 어떤 준비 규칙이 실행되었는지, 스코어링 서비스가 지금 어느 버전을 읽는지는 알지 못합니다. 재학습 자체와 함께 이 가운데 무엇이든 변화의 원인일 수 있지만, 데이터 쪽 질문은 하나도 확인할 수 없습니다.
확인할 점은 각 결과를 고정된 데이터 버전과 그 뒤의 변환까지 거슬러 추적할 수 있는지입니다. Syntitan에서는 원본 Dataset을 변경 없이 보존하고, 준비 결과를 Project Version으로 기록합니다. 추적성은 Ready for Raw Data가 진단하는 6개 축 가운데 하나이며, 같은 평가를 반복할 수 있는지 묻는 재현성과 함께 진단합니다. 각 실행을 그 실행이 사용한 Version과 연결하는 Execution Trace는 개발 중입니다.