파일럿은 작동할 수 있는지에 답합니다. AI 프로덕션 준비도(AI production readiness)는 실제로 만나게 될 데이터, 사용자, 예외 상황에서도 계속 작동할지, 그리고 작동이 멈췄을 때 팀이 알아챌 수 있을지에 답합니다. 둘의 차이는 모델뿐 아니라 데이터와 근거에도 있습니다.
프로덕션 준비도 점검에서 답해야 할 질문은 다음과 같습니다.
- 예외를 포함해 운영 환경에서 가져온 데이터로 업무를 평가했는지
- 평가 전에 비즈니스와 합격 기준을 합의했는지
- 결과의 근거가 된 데이터 버전, 준비 과정, 평가 조건을 기록했는지
- 데이터, 모델, 프로세스가 바뀔 때 누가 결과를 다시 확인하는지
AI 프로덕션 준비도는 성공한 파일럿과 어떻게 다른가요?
- 성공한 파일럿은 파일럿의 데이터와 조건에서 좋은 결과가 나왔음을 보여 줍니다. Pilot purgatory는 그 결과가 파일럿 밖에서도 유지된다는 점을 보여 주지 못할 때 생기는 상황입니다.
- 프로덕션 준비도를 갖추려면 비즈니스가 미리 정한 기준에 비추어 운영 환경의 데이터와 사례에서도 결과가 유지되어야 합니다.
- 출시 후에도 데이터와 프로세스는 계속 바뀌므로, 나중에 결과를 다시 확인할 방법도 필요합니다.
AI 업무에서 AI 프로덕션 준비도는 어디서 문제가 되나요?
고객 문의 분류 에이전트가 한 지역의 영어 티켓으로 파일럿을 통과해 배포 승인을 받았습니다. 그런데 운영 환경의 대기열에는 파일럿에서 다루지 않은 다른 언어와 제품군의 티켓도 섞여 있습니다. 팀은 파일럿 결과가 어떤 데이터를 바탕으로 했는지 말할 수 없어서, 무엇이 바뀌었는지도 알 수 없습니다. 파일럿 표본에서 한 번도 다루지 않은 비즈니스 규칙도 또 다른 빈틈입니다. AI가 비즈니스 규칙과 예외를 놓치는 이유에서 배포 전에 이런 규칙을 찾는 방법을 다룹니다.
Syntitan의 Ready for Model은 같은 평가 조건에서 준비 전후 데이터의 결과를 비교하고, Ready for Agent는 에이전트 워크플로를 위한 Task와 Case를 만듭니다. 각 실행을 그때 사용한 데이터 Version 및 조건과 연결할 Execution Trace는 개발 중입니다. AI가 배포 후에 실패하는 이유에서 이런 점검을 건너뛰었을 때 어떤 일이 생기는지 설명합니다.