엔터프라이즈 AI에서 흔히 보는 패턴입니다. 깨끗한 샘플로 파일럿 범위를 정하고 한 분기 동안 진행해 유망한 결과를 얻지만, 그다음에 멈춥니다. 다음 단계에는 예산, 보안 검토, 그리고 결과가 유지될 것이라는 판단이 필요한데, 세 번째는 누구도 내리지 못합니다. 그래서 파일럿을 연장하거나, 범위를 다시 정하거나, 새 공급업체와 다시 시작합니다.
이 용어는 제조 기술 도입에서 나왔고, 지금은 생성형 AI 프로그램에도 쓰입니다. 원인이 모델이 아닐 수도 있습니다. 파일럿을 운영 데이터와 맞지 않는 데이터로 평가했기 때문입니다. 그 데이터는 더 깨끗하거나, 더 작거나, 더 오래됐거나, 실제 프로세스를 어렵게 만드는 예외가 빠져 있습니다.
Pilot purgatory는 실패한 개념 증명과 어떻게 다른가요?
- 실패한 개념 증명(proof of concept)은 분명한 부정적 결과를 내고 끝납니다.
- Pilot purgatory에서는 긍정적 결과가 나왔지만 파일럿 밖에서는 그 결과를 믿을 수 없어, 프로젝트가 끝나지도 나아가지도 못합니다.
- 차이는 근거에 있습니다. 개념 증명은 ‘작동할 수 있는가’에 답합니다. Pilot purgatory는 ‘여기서, 우리 데이터로, 다음 분기에도 작동할 것인가’에 대한 답이 없는 상태입니다.
AI 업무에서 pilot purgatory는 어디서 문제가 되나요?
한 문서 분류 파일럿이 레이블이 붙은 파일 수천 건에서 좋은 점수를 받습니다. 운영 아카이브에는 십여 개 출처, 3개 스캔 업체, 10년간의 템플릿 변경을 거친 파일이 100만 건 넘게 있습니다. 이 아카이브에서 뽑은 샘플로 파일럿을 측정한 사람은 없었으므로, 그 점수는 파일럿 세트에 관한 사실일 뿐입니다. 운영 위원회가 결과가 유지될지 묻는다면, 솔직한 답은 아무도 모른다는 것입니다.
벗어나려면 운영 환경에서 뽑은 데이터로, 기업이 실제로 쓸 승인 기준에 따라 파일럿을 평가해야 합니다. 그리고 확인한 내용을 기록해 데이터가 바뀌어도 같은 판단을 반복할 수 있게 해야 합니다. Syntitan에서는 Ready for Model이 이 역할을 합니다. 같은 업무를 같은 평가 세트에서 준비 전후 데이터로 실행하고, 사용한 데이터 Version과 조건을 결과와 함께 기록합니다. 이 결과를 승인 기준에 비춰 읽으면 도입 여부(go/no-go) 결정에 필요한 근거의 일부가 됩니다.
CUBIG Shorts
Why AI Pilots Stall on Real Data
위 내용을 짧은 영상으로 정리했습니다. 파일럿은 샘플 데이터에서는 통과했지만, 기업이 실제로 운영하는 데이터에서 멈췄습니다.
배포 후 AI가 실패하는 이유에서는 이 단계를 건너뛰면 어떤 일이 생기는지 설명합니다. 가치 실현 시간(time to value)은 pilot purgatory가 소리 없이 무너뜨리는 지표입니다.