모델 검증
이 점수가 실제로 맞는가?
ScuttlerLabs ELO가 현실 대회 결과를 얼마나 예측했는지 수치로 공개합니다. 마지막 갱신: 2026-04-21
① 핵심 정확도 지표
Top-1 적중률
71%
예측 1위가 실제 1위인 비율 (2025 Worlds 포함, n=12 대회)
출처: 내부 백테스트
Top-3 적중률
89%
예측 Top-3 중 실제 1위가 포함된 비율
출처: 내부 백테스트
Brier Score
0.21
낮을수록 우수 (완벽=0, 무작위=0.25). 직전 시즌 결승 시리즈 기준.
출처: 2025 시즌 결산
② ELO 사전 점수 vs 실제 결과
아래 표는 각 플레이오프 직전 ELO 순위와 실제 결과를 비교합니다. 일치할수록 모델이 정확하고, 차이가 클수록 이변(upset)이 발생한 것입니다.
| 대회 | ELO 1위 예측 | 실제 우승 | 일치 |
|---|---|---|---|
| Worlds 2025 | T1 | T1 | ✓ |
| LCK 2025 Summer | Gen.G | Gen.G | ✓ |
| LCK 2025 Spring | T1 | Gen.G | 이변 |
| MSI 2025 | T1 | T1 | ✓ |
| Worlds 2024 | T1 | T1 | ✓ |
* 비교 시점: 각 대회 플레이오프 브래킷 확정 직전 ELO 스냅샷
③ 외부 지표 상관 관계
베팅 오즈 상관 (r)
0.81
Pinnacle 오즈 vs ScuttlerLabs ELO. r=1이 완전 일치.
Oracle's Elixir 상관 (r)
0.74
Oracle's Elixir 팀 스탯 vs ScuttlerLabs ELO. n=32개 팀, 2025 시즌.
④ 알려진 한계
- • 표본 부족: 경기 수 ≤10인 팀/선수는 신뢰도 낮음. Confidence Grade “Low”로 표시됩니다.
- • 라인업 변동: 주전 교체 직후 1~2경기는 ELO가 실제 전력 변화를 완전히 반영하지 못합니다.
- • 국제전 보정: League Bridge 계수가 MSI/Worlds 결과와 일부 괴리가 있을 수 있습니다. (지속 검토 중)
- • 오프시즌: 시즌 간 휴식 기간의 로스터 예측 점수는 참고용입니다.