F1 점수(F1 score)는 2 × 정밀도 × 재현율 ÷ (정밀도 + 재현율)로 계산하며, scikit-learn 문서에 나오는 F-measure에서 β = 1인 경우에 해당합니다.
F1은 조화 평균이므로 둘 중 한쪽 값이 매우 낮으면 점수도 함께 내려갑니다. 양성 사례가 드물 때, 양성 사례를 모두 찾아내지만 모든 건을 양성으로 표시하는 모델은 F1이 낮습니다. 양성으로 표시한 건은 거의 항상 맞지만 찾아내는 사례가 매우 적은 모델도 마찬가지입니다.
CUBIG의 UCI Polish Companies Bankruptcy 실험(2026년 10월)에서 F1이 어떻게 움직이는지 확인할 수 있습니다. 모델 설정을 바꾸지 않은 상태에서 데이터를 준비하자 랜덤 포레스트의 F1이 0.41에서 0.61로 올랐습니다. 재현율은 26.2%에서 48.5%로 올랐고, 정밀도는 93.1%에서 82.0%로 내려갔습니다.
F1이 유용한 요약 지표가 되는 경우는 다음과 같습니다.
- 양성 결과가 드물어서, 사례를 거의 찾지 못하는 모델도 정확도는 높게 나오는 경우
- 놓친 사례와 오탐이 모두 중요하고, 팀이 버전을 비교하면서 추적할 숫자 하나가 필요한 경우
- 비교할 때 평가 레코드와 임계값을 고정하는 경우
F1 점수는 정확도와 어떻게 다른가요?
- 정확도는 불균형 데이터셋에 많은 올바른 음성 예측까지 포함해 모든 올바른 예측을 셉니다.
- F1은 참 음성을 무시하고, 정밀도와 재현율을 통해 양성 클래스를 얼마나 잘 다루는지만 봅니다.
- 드문 결과를 다룰 때는 보통 F1이 둘 중 더 많은 정보를 줍니다. 다만 F1만으로는 두 가지 오류 중 어느 쪽이 바뀌었는지 알 수 없습니다.
AI 업무에서 F1 점수는 어디서 문제가 되나요?
F1은 놓친 사례와 오탐에 같은 가중치를 둡니다. 하루에 검토할 수 있는 알림 수가 정해진 사기 탐지 팀이나, 사례를 하나도 놓쳐서는 안 되는 선별 검사 팀은 보통 두 오류를 같은 무게로 보지 않습니다. 그래서 같은 F1이라도 한 팀에는 좋은 모델이고 다른 팀에는 부족한 모델일 수 있습니다.
CUBIG의 데이터 준비 실험 5건 요약에서 강조한 비교 4건에서는 F1이 오르는 동안 오탐도 늘었습니다. F1만 봐서는 드러나지 않는 상충 관계입니다. F1은 재현율, 정밀도, 혼동 행렬(confusion matrix) 수치와 함께 읽어야 합니다. F1이 높아졌다면 그 수치를 업무의 합격 기준과 대조해 볼 이유가 생긴 것이며, 그 자체로 통과를 뜻하지는 않습니다.