뉴스

AI-Ready Data 기업 큐빅 배호 공동대표, 전자신문 인터뷰 “준비된 데이터가 AI 에이전트 성패 가른다”

안녕하세요. 기업 데이터가 AI 업무에 실제로 활용될 수 있도록 돕는 큐빅(CUBIG)입니다.

전자신문이 11월 13일 큐빅 배호 공동대표 인터뷰를 보도했습니다. 배호 공동대표는 검증 단계(PoC)에서 잘 작동한 AI 에이전트가 실제 업무에서 어떤 문제를 만나는지, 운영에 앞서 어떤 데이터를 준비해야 하는지 설명했습니다. 그 과정에서 큐빅의 AI-Ready Data 플랫폼 Syntitan(신타이탄)이 어떤 역할을 하는지도 함께 소개했습니다.

PoC와 실제 운영 사이의 간극

배호 공동대표는 PoC와 운영을 이렇게 나눴습니다. PoC에서는 미리 정해 둔 요청을 시험합니다. 실제 운영에서는 매뉴얼에 없는 요청이 들어오거나 정책과 사용자 권한이 바뀌기도 합니다. 에이전트로 처리하는 일은 답을 보여 주는 데서 끝나지 않고 여러 단계로 이어집니다. 그래서 단계마다 생긴 작은 오차가 쌓이면 마지막 결과가 크게 틀어질 수 있습니다. 예를 들어 필요한 값을 정확히 찾았더라도, 그 값이 무슨 뜻인지 잘못 이해하거나 사용 권한이 있는지, 데이터가 아직 유효한지 확인하지 못하면 실행 자체가 잘못됩니다.

그래서 배호 공동대표는 데이터를 정제하는 데서 한 걸음 더 나아가, 그 데이터를 어떤 기준으로 업무에 쓸지까지 준비해야 한다고 강조했습니다.

Agent-Ready Data의 세 가지 조건

큐빅은 기업 업무를 특정 모델이나 에이전트에 맡길 수 있게 준비한 데이터를 AI-Ready Data라고 부릅니다. 그 가운데 에이전트에 판단과 실행까지 맡기려면 업무 규칙과 예외도 준비돼 있어야 하는데, 이 상태를 Agent-Ready Data라고 합니다. 배호 공동대표는 이 상태를 세 가지 조건으로 설명했습니다.

✔️ 업무에 맞는 내용 : 권한과 조건을 지키면서, 그 업무에 필요한 데이터의 형태와 뜻, 예외까지 담고 있어야 합니다.

✔️ 업무 결과 검증 : 같은 업무와 평가 조건에서 데이터를 준비하기 전과 후의 결과를 비교해, 업무 기준을 충족하는지 확인해야 합니다.

✔️ 변경 영향 추적 : 데이터나 업무 조건이 바뀌었을 때 어디를 다시 확인해야 하는지 추적할 수 있어야 합니다.

배호 공동대표는 운영 중에도 이 세 가지 조건을 계속 확인해야 한다고 설명했습니다.

예외를 검증 케이스로 만드는 Ready for Agent

현장의 예외가 업무 데이터에 잘 담기지 않는 이유는 두 가지입니다. 실제 사례가 부족하거나, 사례는 있어도 어떤 조건으로 판단했는지가 자료에 드러나 있지 않기 때문입니다. 숙련된 담당자는 요청자의 권한이나 처리 순서에 따라 판단을 달리하지만, 그 기준은 대개 사람의 경험에만 남아 있습니다.

Syntitan의 Ready for Agent는 기업이 가진 매뉴얼과 규정에서 업무의 판단 기준을 찾고, 조건을 바꿨을 때 에이전트의 판단 결과를 확인할 수 있도록 검증 케이스를 만듭니다. 예를 들어 요청을 처리하던 중에 권한이 철회됐거나 요청이 일부만 처리됐다면, 에이전트는 다음 단계로 넘어가도 되는지 다시 판단해야 합니다. 담당자는 이런 케이스를 보고 기존 규정이 어디까지 답을 주는지, 어떤 기준을 보완해야 하는지 살펴볼 수 있습니다.

인터뷰에서는 내부 검증 사례도 소개됐습니다. 한 기업과 상담 업무 적용 가능성을 검토하면서, 그 기업이 제공한 가상 업무 문서로 진행한 검증입니다. 예약 고객이 잡은 객실 두 곳 중 한 곳만 이용할 수 없게 됐는데, 시스템에는 전체 취소 기능만 있는 상황이었습니다. 핵심은 정상적으로 이용 중인 객실까지 취소하지 않으려면 무엇을 확인하고 어떻게 판단해야 하느냐였습니다. Syntitan은 이 상황을 근거 문서 원문과 함께 검증 케이스로 제시해, 담당자가 어느 규정과 처리 절차를 확인하고 보완해야 하는지 살펴볼 수 있게 했습니다.

효과를 판단하는 기준

배호 공동대표는 케이스를 몇 개 만들었는지보다, 실제 업무에서 놓치던 조건을 얼마나 발견하고 보완했는지가 중요하다고 말했습니다. 함께 봐야 할 기준으로는 다음을 들었습니다.

✔️ 업무 기준에 맞는 결과 : 정상 요청을 제대로 처리하고, 예외 상황에서 잘못 실행하지 않으며, 사람에게 확인을 요청할 상황을 구분하는가

✔️ 사람의 검토 부담 : 같은 평가 조건에서 사람이 검토하고 수정하는 비율과 걸리는 시간이 얼마나 달라졌는가

✔️ 다시 쓸 수 있는 정도 : 정책이나 모델이 바뀌었을 때 이전 데이터와 기준을 얼마나 다시 쓸 수 있고, 무엇을 다시 확인해야 하는가

바뀐 조건부터 다시 확인하기

매뉴얼이나 정책이 바뀌면 지난번 검증 결과가 지금 업무에는 맞지 않을 수 있습니다. 그렇다고 바뀔 때마다 처음부터 전체를 다시 검증하면 운영 부담을 감당하기 어렵습니다. 배호 공동대표는 소프트웨어를 고친 뒤 바뀐 부분과 연결된 기능부터 다시 시험하는 회귀 테스트처럼, 바뀐 규정과 연결된 케이스부터 확인해 다시 검증할 범위를 좁혀야 한다고 설명했습니다.

지금 Syntitan에서는 AI 모델이 맡을 업무를 두고, 같은 조건에서 데이터를 준비하기 전과 후의 결과를 비교할 수 있습니다. Ready for Agent에서는 업무 자료로 만든 검증 케이스와 그 근거가 된 문서 원문을 확인할 수 있고, 실행용 입력을 내려받아 기존에 쓰던 에이전트에서 직접 시험할 수 있습니다.

큐빅은 다음 단계로 에이전트를 실행한 결과를 업무 문서 기준으로 평가해 준비 전후를 비교하는 기능을 더할 계획입니다. 이어서 변경된 자료와 연결된 재검증 범위를 제시하는 방향으로도 넓혀 가려 합니다.

모델이 바뀌어도 남는 데이터와 업무 지식

배호 공동대표는 이제 대부분의 기업이 비슷한 수준의 고성능 모델을 쓸 수 있다고 봤습니다. 그래서 차이는 현장의 예외와 판단 조건까지 데이터로 준비했느냐에서 생긴다는 것입니다. 큐빅은 고객에게 쓰던 데이터 플랫폼이나 모델부터 바꾸라고 요구하지 않고, 이미 가진 자료와 맡기려는 업무 하나에서 시작한다고도 설명했습니다.

모델을 바꾸면 입력 방식과 동작이 달라져 추가 조정과 검증이 필요합니다. 배호 공동대표는 미리 정리한 데이터의 의미와 업무 기준을 다음 모델에 이어 쓰면, 모델이 바뀔 때마다 업무 지식을 처음부터 정리하는 부담을 줄일 수 있다고 설명했습니다.

배호 큐빅 공동대표는 “AI 모델은 계속 바뀐다. 그때마다 기업이 데이터와 업무 지식을 처음부터 다시 준비해야 한다면 비용과 운영 부담이 반복될 수밖에 없다”며 “한 번 정리한 데이터의 의미와 업무 기준, 확인한 결과가 회사에 남아 다음 모델과 다음 업무에도 쓰이도록 만드는 것이 중요하다”고 말했습니다.

저희 큐빅은 대기업뿐 아니라 작은 팀도 업무 하나에서 시작해 준비한 데이터와 업무 기준을 쌓고, 다음 모델과 다음 업무까지 이어 쓸 수 있도록 Syntitan을 넓혀 나가겠습니다.

AI는 데이터 상태에서 실행됩니다. 지금, AI-Ready를 준비해야 합니다. 바로 문의하기

참고 자료