Elo 점수 (Elo Rating)

Elo 점수(Elo Rating)는 같은 비교 집단의 맞대결 결과로 참가자 사이의 실력 차이를 추정하는 상대 평가 점수입니다. 체스 레이팅에 쓰이는 방식이며, AI 분야에서는 두 모델의 응답 가운데 사람이 더 낫다고 고른 쪽을 승리로 세어 모델 순위를 매길 때도 이 이름을 씁니다. 점수 차이가 기대 득점으로 바뀌기 때문에 같은 비교 집단 안의 차이만 의미를 가집니다.

점수 차이를 기대 득점으로 바꾸는 계산

2024년판 FIDE 레이팅 규정은 레이팅 시스템을 득점 비율과 점수 차이를 서로 변환하는 수치 체계로 설명합니다. 규정의 변환표에서 두 선수의 점수 차이가 0~3점이면 양쪽의 기대 득점은 각각 0.50이고, 198~206점이면 높은 쪽 0.76, 낮은 쪽 0.24입니다. 기대 득점은 한 판에서 얻을 것으로 예상되는 점수이며 승리 1점, 무승부 0.5점, 패배 0점을 기준으로 합니다.

갱신은 실제 결과와 기대 득점의 차이로 합니다. 한 판마다 실제 득점에서 기대 득점을 빼고, 대회나 레이팅 기간 동안의 합에 개발 계수(development coefficient) K를 곱한 값이 점수 변화입니다. 규정은 선수 조건에 따라 K를 달리 정합니다. K가 20인 예에서 기대 득점 0.76인 선수와 0.24인 선수가 각각 이겼을 때, 반올림 전 점수 변화 계산값은 4.8과 15.2입니다.

점수는 차이로만 해석합니다. 변환표는 점수 차이만 입력으로 받으므로 2000점 선수가 1000점 선수보다 두 배 강하다는 식으로 비율을 읽을 근거가 없습니다. 규정도 레이팅 척도를 임의로 정한 것이라고 밝히고 등급 간격을 200점으로 둡니다. 2000점과 1800점의 차이와 1600점과 1400점의 차이는 같은 200점이므로 같은 기대 득점으로 바뀝니다.

순차 갱신과 Bradley-Terry 일괄 추정

고전적인 Elo 방식은 이전 점수에 새 결과를 더해 가는 순차 갱신입니다. 2024년판 FIDE 레이팅 규정에서도 매달 첫날 그 기간의 경기 결과를 직전 목록에 반영해 새 레이팅 목록을 만듭니다. 그래서 어느 시점의 점수는 새 경기 결과뿐 아니라 직전 점수와 K 값에도 영향을 받고, 같은 선수라도 시점마다 점수가 움직입니다.

Chatbot Arena 원 논문은 사람의 선호로 LLM을 평가하는 공개 플랫폼을 소개하며, 쌍대결 비교 방식과 다양한 사용자의 크라우드소싱 입력을 쓴다고 설명했습니다. 2024년 3월 제출된 이 논문 시점에 모인 투표는 24만 건을 넘었고, 논문은 모델을 효율적이고 정확하게 평가하고 순위를 매기는 통계 방법을 함께 다뤘습니다.

Arena 팀이 2025년 12월 18일 공개하고 2026년 2월 21일 갱신한 Arena-Rank 소개 글에 따르면, LMArena 리더보드를 계산하는 오픈소스 Python 패키지 Arena-Rank는 Bradley-Terry 모델과 맥락 특성을 다루는 확장을 구현합니다. 이 방식은 model_a, model_b, winner 기록 전체에 모델을 맞춰 점수와 95% 신뢰구간을 계산하므로, 결과가 들어온 순서대로 점수를 고쳐 가는 순차 갱신과 다릅니다. 같은 글은 대결 수가 적은 모델을 공정하게 다루는 재가중, 부트스트랩 대신 닫힌 형태로 구하는 신뢰구간 같은 방법 변경이 최근 몇 달 사이 들어갔다고 밝힙니다. Chatbot Arena 논문이 설명한 방법은 이런 변경 이전 시점의 것입니다.

비교 집단과 신뢰구간에 따른 해석 범위

Elo 계열 점수는 같은 데이터와 같은 계산으로 만든 목록 안에서만 비교합니다. FIDE 목록의 2400점과 LMArena 리더보드의 점수는 서로 다른 대결 집단과 척도에서 나온 값이라 나란히 놓을 수 없습니다. Arena-Rank 소개 글도 한 번 전처리한 데이터에 여러 순위 모델을 맞춰 리더보드 변형을 동시에 계산하는 구조를 설명하며, 스타일 통제 리더보드에는 맥락 특성 확장을 쓴다고 밝힙니다. 같은 투표라도 어떤 모델로 맞추느냐에 따라 점수와 순위가 달라질 수 있습니다.

점수 차이의 크기도 신뢰구간과 함께 읽습니다. Arena-Rank의 예제는 점수와 함께 95% 신뢰구간을 출력합니다. 개별 점수의 신뢰구간만으로 두 모델 차이의 통계적 유의성을 확정할 수는 없습니다. 평가 자료와 비교 방법을 함께 살피며, 새 투표가 쌓이면 순서가 바뀔 수 있습니다.

점수에 담기는 선호는 투표를 만든 질문과 판정자에 따라 정해집니다. Chatbot Arena 원 논문은 크라우드소싱 질문이 충분히 다양하고 변별력이 있으며 투표도 전문가 평가와 잘 일치한다고 보고했습니다. 이 결과는 해당 플랫폼에 모인 질문과 투표자를 대상으로 한 것이고, 특정 작업의 정답률을 재는 벤치마크 점수와는 측정 대상이 다릅니다.