AI 모델 평가란 무엇인가요?

AI 모델 평가는 모델이나 에이전트가 학습하지 않은 데이터에서 특정 업무를 얼마나 잘 수행하는지 측정하는 과정입니다. 지표와 성공 기준을 미리 합의해 두어야 여러 버전을 같은 조건에서 비교할 수 있습니다.

모델 평가와 모델 검증은 무엇이 다른가요?

검증은 개발 중에 설정을 조정하고 여러 버전 중 하나를 고르는 데 쓰며, 보통 검증 세트나 교차 검증 폴드를 사용합니다. 반면 평가는 학습과 조정에서 떼어 둔 고정 세트로 업무 성능을 측정하고, 합의한 기준에 비춰 버전을 비교합니다.

AI 모델을 평가할 때는 어떤 지표를 쓰나요?

업무에서 어떤 오류의 비용이 큰지에 따라 달라집니다. 실제로 쓰는 임계값에서의 정밀도, 재현율, F1과 ROC-AUC나 평균 정밀도 같은 순위 지표를 흔히 쓰고, 정확도는 결과가 고르게 나뉜 업무에 씁니다. 지표를 두 개 이상 보고해야 무엇을 얻고 무엇을 잃었는지 알 수 있습니다.

AI 모델 평가란? 우리 데이터로 모델을 평가하는 방법과 AI-Ready Data

안녕하세요. 기업 데이터가 AI 업무에 실제로 활용될 수 있도록 돕는 큐빅(CUBIG)입니다.

한 팀이 새 모델로 바꾸자 대시보드의 정확도가 4포인트 올랐다고 가정해 보겠습니다. 이 숫자만으로는 모델만 바뀌었는지 알 수 없습니다. 평가에 쓴 레코드나 정답 라벨이 같이 바뀌었을 수도, 데이터를 준비한 방식이 달라졌을 수도 있습니다. 하지만 팀 안에서도 무엇이 바뀌었는지 답할 수 있는 사람이 없습니다.

AI 모델 평가(AI model evaluation)는 모델이나 에이전트가 학습하지 않은 데이터에서 특정 업무를 얼마나 잘 수행하는지, 미리 합의한 지표와 성공 기준으로 측정하는 과정입니다. 그래야 모델 버전이나 데이터 버전을 같은 조건에서 비교할 수 있고, 나중에 그 조건 그대로 평가를 다시 할 수 있습니다.

큐빅이 2026년 10월 공개한 UCI Polish Companies Bankruptcy 실험으로 예를 들어 보겠습니다. 이 실험에서는 모델 네 개를 두 번씩 학습했습니다. 한 번은 데이터를 추가로 준비하기 전, 한 번은 준비한 뒤입니다. 학습 데이터와 추가로 준비한 내용은 모델마다 달랐습니다. 대신 채점 조건은 네 모델 모두 같게 맞췄습니다. 처음에 한 번 따로 떼어 둔 평가용 레코드 1,942건을 네 모델에 똑같이 썼고, 모델 설정과 파산 여부를 가르는 기준값(임계값) 0.5도 준비 전후에 바꾸지 않았습니다.

그 결과 Random Forest의 F1은 0.4091에서 0.6098로 올랐습니다. 하지만 다른 지표까지 보면 결과가 단순하지 않습니다. ROC-AUC는 0.9269에서 0.9253으로 조금 내려갔고, 평균 정밀도(Average Precision)는 0.6437에서 0.6728로 올랐습니다. 반면 파산하지 않은 기업을 파산으로 잘못 판정한 오탐(false positive)은 2건에서 11건으로 늘었습니다. 대표 숫자 하나만 보면 이런 엇갈림을 놓치기 쉽습니다.

핵심 요약

평가 결과를 버전끼리 비교하려면 평가 레코드와 지표, 임계값을 고정해야 합니다. 확인하려는 변경 사항 외의 설정도 버전마다 그대로 둬야 합니다.
점수 하나만 보면 무엇을 얻고 무엇을 잃었는지 놓칩니다. 큐빅의 UCI 파산 실험에서 Random Forest는 F1이 올랐지만 오탐도 늘었습니다. 순위 지표도 ROC-AUC는 조금 내려가고 평균 정밀도는 올라 방향이 엇갈렸습니다.
평가 결과를 잘못 읽게 만드는 흔한 원인 중 여럿은 데이터에 있습니다. 대표적인 원인은 데이터 누수, 업무를 대표하지 못하는 표본, 버전 사이에 다시 뽑은 평가 세트, 틀린 라벨입니다.

AI 모델 평가의 뜻

AI 모델 평가는 업무 하나를 두고, 이 모델이 이 데이터에서 그 업무의 기준을 넘는지 확인하는 일입니다. 측정에는 모델이 학습 중에 보지 않은 레코드를 씁니다. 지표는 그 업무에서 가장 감당하기 어려운 실수를 드러낼 수 있는 것으로 고릅니다.

평가는 한 번으로 끝나는 경우가 드뭅니다. 모델을 고를 때 평가하고, 이후 데이터나 데이터 준비 방식, 업무가 바뀔 때마다 다시 평가합니다. 이렇게 반복하는 평가는 직전 평가와 비교할 수 있어야 쓸모가 커집니다. 그래서 점수를 낸 레코드와 지표, 설정을 기록해 둬야 합니다. 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크(NIST AI 100-1, 2023년 1월)도 같은 점을 짚습니다. 세부 항목 MEASURE 2.1은 테스트와 평가에 쓴 테스트 세트, 지표, 도구의 세부 사항을 문서로 남기는 일을 다룹니다.

모델 검증, 테스트와 평가의 차이

검증, 테스트, 평가는 흔히 섞어 쓰는 말입니다. 아래 표에서는 세 용어를 목적과 사용하는 데이터에 따라 나눠 정리했습니다.

모델 검증, 테스트, 평가 비교
구분	목적	사용하는 데이터	시점
검증(validation)	설정을 조정하고 여러 버전 중 하나를 고름	검증 세트 또는 교차 검증 폴드	개발 중
테스트(testing)	시스템이 명세대로 동작하는지 확인(소프트웨어 동작과 연동 동작 포함)	테스트 케이스와 테스트 데이터	출시 전, 변경 후
평가(evaluation)	합의한 기준으로 업무 성능을 측정하고 버전을 비교	학습과 조정에 쓰지 않고 떼어 둔 고정 평가 세트(교재에 따라 테스트 세트라고도 부름)	모델을 고를 때, 데이터나 모델이 바뀔 때마다

도구에 따라서는 검증 세트를 eval set이라고 부르고, 머신러닝 교재에서는 평가 세트를 테스트 세트라고 부르는 경우가 많습니다. 이처럼 이름이 섞여 쓰이므로 점수에 붙은 이름만으로는 어떤 점수인지 판단하기 어렵습니다. 대신 보고된 점수가 어느 레코드에서 나왔는지 확인하고, 그 레코드로 미리 모델을 고르거나 설정을 조정하지는 않았는지도 살펴야 합니다. 평가 세트와 교차 검증의 차이는 평가 세트(영문)와 교차 검증(영문) 용어집에서 더 자세히 볼 수 있습니다.

AI 모델 평가 6단계

믿을 수 있는 평가는 여섯 단계로 설계할 수 있습니다. 결과를 먼저 보고 나면 그 결과에 끌리지 않고 기준이나 평가 데이터를 다시 정하기 어려우므로, 아래 순서를 지켜야 합니다.

업무와 기준 정하기. 점수가 나오기 전에 모델이 무엇을 판단하는지, 어느 수준의 결과면 업무에서 받아들일 수 있는지 기록합니다.
평가 데이터 고정하기. 업무에서 만날 사례를 예외까지 담은 레코드를 따로 떼어 둡니다. 데이터는 시간 순서를 지키고, 같은 고객이나 같은 기업의 레코드가 학습용과 평가용에 갈라져 들어가지 않게 분할(영문)합니다.
오류 비용에 맞는 지표 고르기. 이 업무에서 어떤 실수가 더 큰 비용으로 이어지는지 따져 지표를 고르고, 두 개 이상을 보고합니다.
모든 버전을 같은 조건에서 실행하기. 평가 레코드와 임계값을 같게 두고, 확인하려는 변경 사항 외의 설정도 고정합니다. 그래야 결과의 차이가 그 변경에서 나왔다고 말할 수 있습니다.
기준에 비춰 결과 읽기. 직전 버전보다 나아졌더라도 업무에 필요한 수준에는 못 미칠 수 있습니다.
결과를 만든 조건 기록하기. 데이터 버전과 데이터 준비 내용, 모델 설정, 평가 조건을 점수와 같이 남깁니다. 이 기록이 있어야 무언가 바뀌었을 때 같은 평가를 다시 할 수 있습니다.

여섯째 단계는 가장 건너뛰기 쉬운 단계입니다. 어느 데이터 버전에서 나온 결과인지 거슬러 올라갈 수 없으면 그 결과를 다시 확인할 방법도 없습니다. 이 문제는 어느 데이터 버전이 테스트를 통과했는지(영문)를 다룬 글에서 자세히 설명합니다.

CUBIG Shorts

같은 모델, 다른 두 결과

모델은 그대로 두고 데이터 상태만 바꿨는데 결과가 달라졌습니다. 47초 시연 영상(영어)에서는 그 차이가 모델이 아니라 메타데이터, 스키마 정렬, 결측값에서 나왔다는 것을 보여 줍니다. 4단계에서 왜 모든 버전을 같은 조건으로 비교해야 하는지 보여 주는 장면입니다.

▶ 유튜브에서 보기 구독하기

평가 결과에 보고할 지표

모든 업무에 맞는 지표는 없습니다. 예를 들어 드물게 일어나는 결과를 예측할 때는, 모델이 그 결과를 거의 예측하지 않기만 해도 정확도가 높게 나올 수 있습니다. UCI 파산 실험의 평가 세트에서 파산 레코드는 1,942건 중 103건으로 약 5.3%였습니다. 그래서 파산을 한 건도 짚지 않는 모델도 전체 레코드의 약 95%는 맞히게 됩니다. 데이터를 추가로 준비하기 전 Random Forest도 정확도는 95.98%였지만, 실제 파산 103건 중 76건을 놓쳤습니다.

자주 쓰는 평가 지표가 보여 주는 것과 가릴 수 있는 것
지표	보여 주는 것	가릴 수 있는 것
정확도(Accuracy)	전체 예측 중 맞은 비율	드물지만 중요한 사례에서의 낮은 성능
정밀도(Precision)	찾으려는 쪽(예: 파산)으로 판정한 사례 중 맞은 비율	실제 해당 사례를 몇 건 놓쳤는지
재현율(Recall)	실제 해당 사례 중 찾아낸 비율	찾아내는 동안 오탐이 몇 건 났는지
F1	한 임계값에서 정밀도와 재현율의 균형	다른 임계값에서 위험한 사례를 위쪽에 올려놓는 능력이 어떻게 달라졌는지
ROC-AUC, 평균 정밀도	모든 임계값에서 위험한 사례를 얼마나 잘 위쪽에 올려놓는지	실제로 쓰는 임계값에서의 성능

평가 결과는 대표 숫자 하나로 보고하기보다, 서로 다른 방향을 가리키는 지표를 함께 보고할 때 쓸모가 큰 경우가 많습니다. UCI 실험에서 Random Forest의 재현율은 26.21%에서 48.54%로 올랐고, 정밀도는 93.10%에서 81.97%로 내려갔습니다. 실험 글은 이 F1 상승을 모델 전체가 고르게 나아진 결과로 보지 않았습니다. 같은 임계값에서 모델이 파산으로 판정하는 범위가 넓어진 결과로 해석했습니다. 다만 같은 결과를 임계값만 바꾸거나 클래스 가중치를 준 방식으로도 얻을 수 있는지는 비교하지 않았다고 실험 글에서 밝혔습니다.

평가 결과를 잘못 읽게 만드는 원인

평가 결과를 잘못 읽게 만드는 흔한 원인 중 여럿은 모델보다 데이터에 있습니다. 데이터 누수 하나만 봐도 얼마나 흔한지 알 수 있습니다. Sayash Kapoor와 Arvind Narayanan은 2023년 학술지 Patterns에 낸 논문에서 앞선 리뷰들을 모아, 머신러닝 기반 과학 17개 분야에서 최소 294편의 논문이 누수의 영향을 받았다고 정리했습니다.

데이터 누수

학습 데이터에 평가 데이터의 정보가 섞이거나, 예측 시점에는 알 수 없는 정보(결과가 나온 뒤 기록된 값 등)가 들어갑니다.

AI 모델 평가와 Syntitan

Syntitan은 원본 Dataset을 그대로 두고, 활용 목적마다 복사본으로 만든 별도 Project에서 작업합니다. 그래서 평가도 업무별 Project 안에서 이뤄져, 어떤 업무를 위한 평가인지 분명해집니다. Ready for Raw Data에서는 이 복사본의 상태를 6개 축으로 확인합니다. 그중에는 데이터와 준비 절차를 다시 확인할 수 있는지(재현성), 출처와 변환을 거슬러 올라갈 수 있는지(추적성)도 들어 있습니다. 준비한 결과는 Project의 Version으로 남습니다.

Ready for Model은 같은 평가 조건에서 준비 전 데이터와 준비 후 데이터로 같은 업무를 실행하고, 두 결과를 나란히 보여 줍니다. 모델 학습과 채점을 다시 실행하는 데 필요한 파일도 내보내므로, 앞에서 본 UCI 비교 역시 공개한 파일로 다시 실행해 볼 수 있습니다. 다만 이 파일로는 학습과 채점까지만 다시 실행할 수 있고, 그 앞의 데이터 준비 단계는 포함되지 않습니다. 큐빅이 공개한 UCI 실험 다섯 편도 모델 설정과 평가 레코드를 고정하고 준비 전후 결과를 비교했습니다. 정기예금 가입 예측, 고객 이탈 예측, 기업 파산 예측, 경매 부정 입찰 탐지, 병든 나무 탐지 실험입니다.

Ready for Agent에서는 에이전트 업무를 Task로, 그 업무에서 다뤄야 할 상황을 Case로 만듭니다. 각 Case에는 기대 동작과 판단 기준을 적어 둘 수 있습니다. 에이전트 실행 결과를 이 Case와 연결하는 기능은 현재 개발 중입니다.

이렇게 업무에 맞게 준비하고 결과를 확인했으며, 데이터나 조건이 바뀌어도 필요한 부분을 다시 점검할 수 있는 데이터를 AI-Ready Data라고 부릅니다. 평가로 모델에 관한 불확실성은 줄일 수 있지만, 그 모델을 실제로 쓸지는 업무에서 정한 기준에 비춰 판단해야 합니다. 우리 데이터로 직접 확인해 보세요.