벤치마크 점수를 믿어도 되나
AI 점수표를 읽는 법
① 벤치마크 점수는 "고정된 시험 문제를 얼마나 맞혔나"일 뿐, 내 일에서의 성능이 아니다. 시험 문제 자체에 오류가 있기도 하고, 조건이 다르면 같은 점수도 같은 뜻이 아니다.
② 점수가 부풀려지는 경로가 있다. 학습 데이터에 시험 문제가 섞이는 것, 공개 전에 여러 변형을 시험해 좋은 것만 고르는 것, 순위용으로 따로 다듬은 모델을 내는 것이다. 실제 사례도 있다.
③ 점수표는 누가 · 어떤 설정으로 · 어느 버전을 쟀는지부터 보고, 최종 판단은 내 업무와 닮은 문제 몇 개로 직접 비교한다.
① 들어가며 — 신모델이 나올 때마다 나오는 점수표
새 AI 모델이 발표될 때마다 막대그래프가 따라온다. "수학 벤치마크 1위", "코딩 점수 최고 기록" 같은 문구다. 투자자라면 이런 점수가 주가 뉴스로 이어지는 것도 자주 본다. 그런데 이 숫자들이 무엇을 재고 있고, 얼마나 믿어도 되는지는 거의 설명되지 않는다. 이 글은 그 점수표를 읽는 법을 정리한다.
② 벤치마크는 무엇을 재나
벤치마크는 정해진 문제 묶음과 정답으로 이루어진 시험이다. 모델에게 같은 문제를 풀게 하고 맞힌 비율을 점수로 낸다. 장점은 분명하다. 모든 모델을 같은 문제로 비교할 수 있고, 시간이 지나도 추이를 볼 수 있다.
한계도 분명하다. 시험 점수가 높다고 실제 업무를 잘하는 것은 아니다. 객관식 지식 문제를 잘 맞히는 모델이 긴 보고서를 정리하거나 내 회사 자료를 다루는 일에서는 다를 수 있다. 벤치마크는 "이 시험에서의 성적"이지 "내 일에서의 성능"이 아니라는 점이 출발점이다.
③ 점수가 틀어지는 5가지 이유
| 이유 | 무슨 일이 벌어지나 |
|---|---|
| ① 문제 자체의 오류 | 시험 문제나 정답표가 틀려 있다. 널리 쓰이는 MMLU를 사람이 다시 검토한 연구에서 문제의 6.49%에 오류가 있었고, 바이러스학 과목은 분석한 문제의 57%가 그랬다(Gema 외, 2024). 오류가 있으면 모델 순위가 뒤바뀔 수 있다 |
| ② 포화 | 상위 모델들이 거의 만점에 몰려 변별력이 사라진다. 98점과 99점의 차이는 모델 실력보다 문제의 오류나 우연에 가까울 수 있다 |
| ③ 오염 | 학습 데이터에 시험 문제나 정답이 섞여 들어가면 모델이 풀어서가 아니라 외워서 맞힌다. 인터넷의 글을 폭넓게 모아 학습하므로 어디까지 섞였는지 외부에서 확인하기 어렵다 |
| ④ 조건 차이 | 같은 점수라도 설정이 다르다. 예시를 몇 개 보여줬는지, 도구(검색·계산기)를 썼는지, 여러 번 시도해 가장 좋은 답을 골랐는지에 따라 값이 크게 달라진다 |
| ⑤ 점수 맞춤 | 점수가 목표가 되면 점수를 올리는 데 최적화하게 된다. 순위용으로 따로 다듬은 모델을 내거나, 비공개로 여러 변형을 시험해 좋은 것만 공개하는 방식이다 |
④ 실제 사례 두 가지
1. 순위용으로 다듬은 모델 — Llama 4 (2025년 4월)
메타는 Llama 4 Maverick을 발표하면서 "실험용 챗 버전"이 LMArena(사람이 두 모델 답을 비교해 투표하는 순위 사이트)에서 1417점을 받았다고 알렸다. 그런데 순위에 오른 모델은 일반에 공개된 모델과 다른, 사람의 선호에 맞게 다듬은 버전이었다. LMArena는 메타가 이 점을 더 분명히 밝혔어야 했다고 입장을 냈다. 보도에 따르면 이 실험판은 공개판보다 답이 길고 이모지가 많았고, 개조하지 않은 공개판을 따로 평가하자 32위가 나왔다(The Register, Slashdot). 메타는 "여러 종류의 변형을 시험해 본다"고 해명했다. 점수는 진짜였지만 사용자가 쓰게 될 모델의 점수는 아니었다.
2. 비공개로 여러 번 시험하기 — "리더보드 착시" 연구
한 연구진은 같은 순위 사이트(Chatbot Arena)를 분석한 논문에서, 일부 제공사가 공개 전에 여러 변형을 비공개로 시험하고 좋은 것만 내놓을 수 있다는 점을 지적했다. 메타가 Llama 4 출시 전에 시험한 비공개 변형은 27개로 확인됐다고 한다. 연구진은 같은 모델의 동일한 체크포인트를 두 번 제출하는 실험에서 점수가 17점 차이가 나는 것도 관찰했다. 순위의 일부가 실력이 아니라 시도 횟수와 우연일 수 있다는 뜻이다(Singh 외, The Leaderboard Illusion, 2025).
이 두 사례가 "모든 벤치마크는 조작됐다"는 뜻은 아니다. 대부분의 벤치마크는 쓸모가 있다. 다만 점수가 높다는 사실 하나로 "내가 쓸 모델이 더 좋다"를 결론 내릴 수 없다는 걸 보여주는 사례다. 위 수치는 해당 연구·보도 시점의 것이며 이후 순위 사이트의 정책은 바뀌었을 수 있다.
⑤ 점수표를 읽는 6가지 질문
- 누가 쟀나? 모델을 만든 회사의 자체 발표인가, 독립된 제3자 평가인가. 자체 발표는 유리한 조건을 고르기 쉽다.
- 어떤 설정으로 쟀나? 예시 개수, 도구 사용 여부, 시도 횟수가 적혀 있는가. 적혀 있지 않으면 비교할 수 없다.
- 같은 조건의 비교인가? 막대그래프의 모델들이 모두 같은 설정이었는지, 경쟁 모델만 다른 설정이었는지 본다.
- 어느 버전의 점수인가? 지금 내가 쓰는 공개판의 점수인지, 실험판·내부판인지 확인한다.
- 이 시험이 내 일과 닮았나? 수학 문제 점수는 보고서 요약 품질을 알려주지 않는다. 내 작업과 비슷한 유형의 벤치마크를 본다.
- 포화되지는 않았나? 상위 모델이 모두 만점 근처면 그 벤치마크로는 차이를 알 수 없다.
실제로 맡길 일 5개 정도를 골라 후보 모델 모두에게 같은 조건으로 시켜 본다. 문제가 5개뿐이라 통계적으로는 엉성하지만, 내가 쓸 용도에서의 차이는 벤치마크 막대그래프보다 훨씬 직접적이다. 점수가 비슷하면 이 시험으로 갈리는 경우가 많다. 직접 시험하는 구체적인 방법은 AI 도구 비교의 "30분 자체 테스트 방법"에서, 용도별로 어떤 모델을 고를지는 추론 모델은 무엇이 다른가의 "언제 어떤 모델을 고를까"에서 다뤘다.
⑥ 투자자 관점 — 점수는 이벤트이고 실적은 근거다
새 모델 점수는 시장에서 하나의 이벤트로 쓰인다. 발표 직후 관련 종목이 움직이기도 한다. 하지만 "점수 1위"가 곧 매출이나 이익은 아니다. 기업의 AI 투자가 돈으로 돌아오는지는 점수표가 아니라 실적의 숫자와 가이던스에서 확인된다. 빅테크 실적에서 AI 수요를 읽는 법은 빅테크 실적 해석 가이드에서, 헤드라인 숫자가 좋아도 그 아래 숫자(마진)가 새 정보일 수 있다는 사례는 엔비디아 Q2 FY2027 실적 해부에서 다뤘다. 둘 다 "발표된 큰 숫자 하나"가 아니라 그 숫자가 어떻게 만들어졌는지를 보는 방식이다.
⑦ 실전 체크리스트
□ 점수를 낸 곳이 제작사인가, 독립된 제3자인가
□ 시도 횟수·예시 개수·도구 사용 같은 설정이 밝혀져 있는가
□ 비교 대상이 모두 같은 조건에서 측정됐는가
□ 내가 실제로 쓸 공개판의 점수인가
□ 이 벤치마크가 내가 맡길 일과 닮았는가
□ 최상위권이 만점 근처에 몰려 있지는 않은가
□ 최종 판단 전에 내 업무 몇 개로 직접 비교해 봤는가
※ 본 글의 사례와 수치는 2024–2025년에 발표된 연구와 언론 보도에 근거하며 이후 달라졌을 수 있습니다. 특정 기업이나 모델에 대한 평가가 아니며, 투자 관련 내용은 투자 권유가 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.