에이전트 평가는 LLM 평가를 응답 하나에서 업무 전체로 넓힌 것입니다. 에이전트는 여러 단계에 걸쳐 계획을 세우고, 도구를 호출하고, 데이터를 읽고, 동작을 실행합니다. 그래서 평가도 두 수준으로 봅니다. 결과 점검은 올바른 환불이 처리됐는지처럼 업무가 맞는 상태로 끝났는지 묻습니다. 경로 점검은 에이전트가 어떤 도구를 어떤 순서와 인자로 호출했는지, 권한 범위 안에서 움직였는지를 봅니다. 비용, 실행 시간, 같은 업무를 반복했을 때 결과가 얼마나 달라지는지도 함께 기록합니다.
공개 벤치마크는 같은 과제로 에이전트끼리 비교하지만, 각 회사의 시스템과 기록과는 잘 맞지 않습니다. 그래서 많은 팀이 실제 업무에서 정답이 있는 과제 모음, 흔히 골든 데이터셋이라 부르는 것을 만들고, 에이전트나 모델이나 그 아래 데이터가 바뀔 때마다 고정한 조건으로 다시 실행해 결과를 시간에 걸쳐 비교할 수 있게 합니다.