주장이 아니라, 기록으로.

데이터 레디문제지금 데이터 상태

상류 데이터 스키마가 바뀌며 모델 성능이 눈에 띄지 않게 떨어졌습니다. 원인을 찾는 데 오래 걸렸고 그사이 후속 결정이 영향을 받았습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan입력 데이터를 버전으로 남기고 유입 시점에 이전 버전과 스키마를 비교하게 했습니다. 이 과정에서 피처 컬럼 2개 누락과 타입 변경 1건이 드러났습니다.

• 입력 데이터를 버전으로 기록
• 유입 시점에 이전 버전과 스키마 비교

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족재학습 파이프라인원인 파악전추적 어려움후변경 지점 바로 확인변화스키마 변경 전후의 입력 데이터 상태다음 학습 실행 전에 변경이 드러나 성능이 떨어진 모델이 운영에 반영되지 않았습니다. 원인도 같은 자리에서 바로 찾았습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

변경 전 버전을 같은 파이프라인·모델로 재실행해 확인했습니다. 이후 실행마다 어떤 데이터 버전이었는지 기록됩니다.상태 카드 · 변경 기록 · 재실행 기록 · 스키마 비교

관련 글AI를 운영 환경에 적용한 뒤 결과가 달라졌다면? 스키마 변경부터 확인해야 하는 이유

데이터 레디문제지금 데이터 상태

전처리 파이프라인을 업데이트한 뒤 운영 점수가 들쭉날쭉해졌습니다. 어느 버전부터 흔들렸는지 추적할 방법이 없었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan실행마다 점수를 그때 쓴 데이터 버전과 함께 기록했습니다. 이전 버전과 비교해 정규화 로직 변경과 피처 스케일링 범위 12% 이동을 찾았습니다.

• 실행마다 점수를 데이터 버전과 함께 기록
• 이전 버전과 비교해 변경 지점 특정

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족실시간 추론원인 특정·롤백전불가후2시간 이내변화전처리 파이프라인 업데이트 전후의 데이터 상태흔들리기 전 버전으로 2시간 안에 되돌렸습니다. 어느 실행이 어느 데이터 버전이었는지 기록이 남습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

실행마다 데이터 버전과 함께 점수가 남아, 다음 업데이트 때도 어느 버전부터 달라졌는지 바로 찾습니다.상태 카드 · 변경 기록 · 재실행 기록

관련 글전처리 드리프트(Preprocessing Drift)란? 같은 원본 데이터가 모델에 다르게 전달되는 이유

데이터 레디문제지금 데이터 상태

일부 분류의 학습 사례가 부족해, 원본만으로 학습한 모델의 가중 F1이 58.55%에 머물렀습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan부족한 분류의 학습 데이터를 Syntitan에서 합성 데이터로 보완하고, 보완한 데이터를 원본에 더해 같은 모델을 다시 학습했습니다.

• 학습 사례가 부족한 분류를 Syntitan으로 보완
• 원본만 학습한 경우와 같은 기준으로 비교

결과 확인결과활용 목적에 쓸 수 있는지 판정

같은 평가 기준가중 F1 개선 (자체 측정)가중 F1+30pp전58.55%후88.55%변화원본만 쓴 학습 데이터와, 보완 데이터를 더한 학습 데이터가중 F1이 88.55%로 올랐습니다(자체 측정).

다음 · 추적·재사용다음 단계같은 조건으로 다시 검증 가능

다음 학습 주기에도 Syntitan에서 같은 조건으로 다시 확인할 수 있습니다.Syntitan에서 제공 · 데이터셋 버전 · 재실행 기록

관련 글Synthetic Data Augmentation: When It Helps Classifier Training (영문)

데이터 레디문제지금 데이터 상태

이탈 예측 모델이 Recall 목표에 못 미쳤습니다. 팀은 모델만이 아니라 데이터도 관련이 있는지 알고 싶었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan너무 적었던 이탈 사례를 추가하고 빠져 있던 가입 기간 맥락을 복원했습니다. 나머지는 그대로 두고 같은 조건에서 다시 실행했습니다.

• 부족했던 이탈 사례 추가
• 누락된 가입 기간(tenure) 맥락 복원

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족이탈 예측F1+0.07전0.75후0.82변화이탈 사례 보강 전후의 데이터 상태Recall 0.71 → 0.84, Precision 0.79 → 0.80. 개선됐고 기준(F1 0.80 이상, Recall 0.82 이상)도 충족했습니다. 개선과 기준 충족은 따로 봅니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

검증을 통과한 데이터를 버전으로 저장하고 실행마다 어느 버전을 썼는지 기록합니다. 이탈 패턴이 바뀌면 영향받는 범위만 다시 검증합니다.상태 카드 · 데이터셋 버전 · 재실행 기록

관련 글Your Model Changed and Your Data Changed. Which One Drove the Result? (영문)

데이터 레디문제지금 데이터 상태

모델 검증에 필요한 실제 환자 기록을 규제 제약으로 쓸 수 없어 검증 파이프라인이 멈춰 있었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

DTS접근할 수 없는 실제 기록을 DTS가 DP를 적용해 재구성한 데이터로 대체했습니다. 분포 특성은 유지되고, 개인 원기록으로 되돌리지 않습니다.

• 접근 불가 기록을 DP 적용 재구성 데이터로 대체
• 분포 특성 유지 · 원기록 복원 없음

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족임상 모델 검증검증 파이프라인전중단후재가동변화실제 환자 기록 대신 재구성 데이터를 넣은 상태검증 파이프라인이 수정 없이 재가동됐습니다. 검토에 쓸 DP 감사 로그가 함께 남습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

재구성 데이터 버전과 DP 감사 로그가 함께 남아, 같은 검증 파이프라인으로 언제든 다시 실행할 수 있습니다.상태 카드 · DP 감사 기록 · 데이터셋 버전

데이터 레디문제지금 데이터 상태

보험계약자 이름·식별번호·의료 정보가 담긴 청구 문서가 외부 LLM API로 그대로 전송되고 있었습니다. 컴플라이언스 팀이 워크플로우를 중단시켰습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

LLM CapsuleLLM Capsule이 이름·식별번호 같은 식별 정보를 치환하고, 청구 판단에 필요한 맥락은 유지합니다. 원본 값과 매핑은 고객 환경 안의 보호된 매핑 레이어에 남습니다.

• 식별 정보 치환 · 청구 판단 맥락 유지
• 결과의 원래 값 복원

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족청구 처리 보조외부 LLM 경로전중단후치환본 실행변화원본 대신 치환된 작업본을 보낸 데이터 상태외부 LLM 경로가 다시 열렸습니다. 결과는 원래 이름·코드·값으로 복원되어 하류 시스템에 그대로 쓰였습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

실행마다 치환·복원 로그가 남습니다. 치환 대상 정책이 바뀌면 영향받는 범위만 다시 검증합니다.상태 카드 · 치환 기록 · 매핑 기록 · 재실행 기록

관련 글LLM Capsule vs AI DLP: Block the Data or Finish the Work (영문)

데이터 레디문제지금 데이터 상태

정기 인프라 업그레이드 후 추천 점수가 떨어졌지만, 엔지니어가 업그레이드 이전 동작을 재현하지 못했습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan실행 시점의 런타임 파라미터를 버전으로 남기고 실행마다 그 버전을 기록했습니다. 이전 버전과 비교해 라이브러리 버전 차이와 부동소수점 처리 변경을 찾았습니다.

• 런타임 파라미터를 버전으로 기록
• 실행마다 쓴 버전을 기록

결과 확인결과활용 목적에 쓸 수 있는지 판정

재현 확인업그레이드 전 상태원인 파악전며칠후3시간 이내변화런타임만 변경 · 데이터 상태는 그대로업그레이드 전 버전을 3시간 안에 재실행해 점수 차이를 확인했습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

런타임 정보가 버전에 함께 남아, 다음 업그레이드 때도 이전 상태를 그대로 재실행할 수 있습니다.상태 카드 · 실행 환경 기록 · 변경 기록 · 재실행 기록

관련 글AI 재현성(Reproducibility)이란? 잘못된 결과의 원인을 찾는 6단계

데이터 레디문제지금 데이터 상태

망분리 환경에서는 내부 업무 맥락이 담긴 원본을 외부로 내보낼 수 없어, 외부 LLM을 업무에 들이는 것 자체가 멈춰 있었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

LLM CapsuleLLM Capsule이 처리 전에 민감한 용어를 일관되게 치환하고 업무에 필요한 맥락은 유지합니다. 외부 LLM에는 치환된 작업본만 가고 원본과 매핑은 내부에 남습니다. N2SF 모델 2의 AI 연계체계 통제 항목을 참고해 구성했습니다. 외부로 보낼 수 있는 정보 범위는 기관의 등급 분류와 보안성 검토에 따릅니다.

• 민감 용어 치환 · 업무 맥락 유지
• N2SF 모델 2 통제 항목을 참고한 워크플로우 구성

결과 확인결과활용 목적에 쓸 수 있는지 판정

예시 결과N2SF 기준 LLM 업무LLM 도입전중단후진행변화원본 대신 치환된 작업본을 보낸 데이터 상태LLM 도입이 진행됐습니다. 결과는 내부에서 원래 값으로 복원됩니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

로컬 로그가 요청 단위로 남아 사후 검증이 가능합니다. 원본과 매핑은 내부 경계 안에 유지됩니다.내부 매핑 레이어 · 감사 기록 · N2SF 기준

관련 글Confidential Business Context: The Data Beyond PII That Blocks AI (영문)

데이터 레디문제지금 데이터 상태

OT/ICS 네트워크 데이터에는 민감한 운영 정보가 담겨 있어, 자동 위협 분석을 위해 외부 AI로 보낼 수 없었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

LLM Capsule네트워크 데이터의 민감 필드를 치환하되 토폴로지와 관계는 그대로 뒀습니다(구조 보존 치환). 기존 OT 분석 플랫폼과 연동해 실행 흐름 안에서 동작합니다.

• 민감 필드 치환 · 토폴로지·관계 유지
• 기존 OT 분석 플랫폼 실행 흐름 안에서 동작

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족위협 분석AI 위협 분석전제한후진행변화민감 필드만 치환하고 관계 구조는 유지한 데이터 상태분석 AI가 치환된 네트워크 데이터로 위협 질문에 답할 수 있게 됐습니다. 관계 구조는 그대로 유지됩니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

치환 전후 데이터 상태를 고정해 두고 분석을 재실행해 결과가 같은지 확인했습니다.치환된 데이터셋 · 분석 기록 · 구조 맵

데이터 레디문제지금 데이터 상태

네트워크 구성이 바뀐 뒤 NOC AI 모델의 출력이 흔들렸습니다. 모델 자체는 그대로라 어떤 변경이 원인인지 알 수 없었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan실행마다 네트워크 상태를 버전으로 남기고, 이전 실행과 비교해 바뀐 구성·설정 요소를 찾았습니다.

• 실행마다 네트워크 상태를 버전으로 기록
• 이전 실행과 비교해 구성 변경 식별

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 충족NOC 운영 업무드리프트 원인전불명후특정변화네트워크 구성 변경 전후의 상태변경 전 상태를 재실행해 토폴로지 변경이 원인임을 확인했고, 수정 후 다시 검증했습니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

구성 변경마다 비교 기록이 남아, 다음 변경도 같은 방식으로 재실행해 확인할 수 있습니다.상태 카드 · 토폴로지 비교 · 변경 기록 · 재실행 기록

관련 글같은 모델인데 결과가 달라졌다면? 데이터 상태 Diff로 원인 찾기

데이터 레디문제지금 데이터 상태

운영 중 추천 적중률이 기준에 못 미쳤고, 데이터 품질이 원인이라는 가설이 있었습니다.

모델 레디적용 · 보완활용 목적에 맞게 준비하고 검증

Syntitan결측·이상치를 보완한 데이터 상태로 같은 모델을 같은 평가셋에서 재실행했습니다.

• 결측·이상치 보완한 데이터 상태로 재실행
• 모델·평가셋 고정

결과 확인결과활용 목적에 쓸 수 있는지 판정

기준 미달기준 미충족 · 목표 적중률 65%에 닿지 않았습니다추천 적중률+1pp전58%후59%변화결측·이상치 보완 전후의 데이터 상태적중률 58% → 59%로 목표 65%에 못 미쳤습니다. 남은 실패 사례와 평가 근거를 바탕으로 다음 보완이나 AI 구성을 검토합니다.

추적·재사용운영 · 기록운영 중 기록하고 다시 검증

모델·평가셋을 고정한 재실행 기록이 남아, 다음 가설을 검증할 때 같은 조건에서 시작합니다.상태 카드 · 재실행 기록

관련 글What Is Data Quality for AI? Why a Clean Score Is Not a Passing Result (영문)

데이터 레디문제지금 데이터 상태

세 시스템에서 모은 고객 데이터를 AI에 쓰자는 계획만 있었고, 지금 상태가 어떤지 아무도 숫자로 말하지 못했습니다.

데이터 레디 · 처리 적용보완낮게 나온 항목만 개선

Syntitan 데이터 레디파일 하나로 6축 진단을 실행했습니다. 일관성(코드 체계 불일치)과 추적성(출처 컬럼 없음)이 낮게 나와 두 항목만 보완했습니다.

• 파일 하나로 6축 진단
• 일관성·추적성만 보완

데이터 준비 상태 점수결과공통 준비 상태 점수

데이터 레디활용 목적 판정은 다음 단계 · 모델 레디종합 점수 · 6축+21전58후79변화보완 전후의 데이터 상태특정 AI의 성공 확률이 아니라 공통 준비 상태입니다. 활용 목적이 정해지면 고정한 버전으로 모델 레디를 시작합니다.

다음 · 모델 레디다음 단계활용 목적이 정해지면 검증

진단 결과와 개선 이력을 한 버전으로 남겼습니다. 활용 목적이 정해지면 같은 버전에서 적합성 검증을 시작합니다.데이터 준비 상태 리포트 · 데이터셋 버전

관련 글AI-Readiness 진단이란? 기업 데이터를 평가하는 여섯 가지 축

데이터 레디문제지금 데이터 상태

예지보전 AI 도입을 검토 중이었지만, 센서 로그에 결측 구간과 단위가 다른 계열이 섞여 있었습니다.

데이터 레디 · 처리 적용보완낮게 나온 항목만 개선

Syntitan 데이터 레디6축 진단에서 무결성과 재현성이 낮게 나왔습니다. 결측 구간 표기와 단위 통일만 먼저 처리했습니다.

• 결측 구간 표기 · 단위 통일
• 무결성·재현성만 보완

데이터 준비 상태 점수결과공통 준비 상태 점수

데이터 레디활용 목적 판정은 다음 단계 · 모델 레디종합 점수 · 6축+23전51후74변화보완 전후의 데이터 상태어느 벤더의 모델이든 같은 상태에서 비교할 수 있는 출발점이 생겼습니다. 점수는 공통 준비 상태이며 성능 예측이 아닙니다.

다음 · 모델 레디다음 단계활용 목적이 정해지면 검증

보완한 로그를 한 버전으로 고정했습니다. 후보 모델을 고르면 고정한 버전으로 같은 조건 비교를 진행합니다.데이터 준비 상태 리포트 · 데이터셋 버전

관련 글AI-Readiness 진단이란? 기업 데이터를 평가하는 여섯 가지 축

데이터 레디문제지금 데이터 상태

부서마다 기록 양식이 달랐고 분류 코드와 처리 결과가 비어 있는 건이 많았습니다. LLM을 붙여도 될 상태인지 판단할 근거가 없었습니다.

데이터 레디 · 처리 적용보완낮게 나온 항목만 개선

Syntitan 데이터 레디6축 진단에서 맥락성과 사용성이 낮게 나왔습니다. 분류 코드 보완과 양식 정규화만 우선 처리했습니다.

• 분류 코드 보완 · 양식 정규화
• 맥락성·사용성만 보완

데이터 준비 상태 점수결과공통 준비 상태 점수

데이터 레디활용 목적 판정은 다음 단계 · 모델 레디종합 점수 · 6축+25전46후71변화보완 전후의 데이터 상태이 점수는 공통 준비 상태입니다. 민원 응대에 쓸 수 있는지는 모델 레디에서 따로 판정합니다.

다음 · 모델 레디다음 단계활용 목적이 정해지면 검증

진단·개선 이력을 버전으로 남기고, 민원 응대 활용 목적이 확정되면 남긴 버전으로 적합성 검증을 진행합니다.데이터 준비 상태 리포트 · 데이터셋 버전

관련 글AI-Readiness 진단이란? 기업 데이터를 평가하는 여섯 가지 축