LLM-as-a-judge 방식에서 팀은 언어 모델에게 채점 기준, 원래 요청, 응답 하나 이상을 주고, 응답에 점수를 매기거나 두 응답 중 나은 쪽을 고르게 합니다. 요약이나 고객 응대 답변처럼 정답이 하나로 정해지지 않아 일치 여부로 채점하기 어렵고 사람이 검토하기엔 느린 결과물을 대규모로 평가할 수 있습니다. 지금은 LLM 평가와 에이전트 평가에서 흔히 쓰는 방법입니다.
평가 모델에는 알려진 편향이 있습니다. 먼저 보여 준 답, 더 긴 답, 자기와 비슷한 문체의 답을 선호하는 경향이 연구로 확인됐습니다. 팀은 답의 순서를 바꿔 보고, 기준을 구체적으로 쓰고, 일부 표본을 사람이 매긴 점수와 대조해 이런 영향을 줄입니다. 평가 모델은 보여 준 것만 채점합니다. 오래되거나 틀린 기록을 바탕으로 한 답도 문장이 잘 쓰였다면 높은 점수를 받을 수 있으므로, 답 뒤에 있는 기록은 따로 확인해야 합니다.