밸런스 통계 논하기 전에 알아두어야할 통계학 상식

1. 표본규모에 따른 표본오차와 신뢰도 관계

 

표본이 32개일 때 -> 90% 신뢰수준에서 +- 14.58%

표본이 100개일 때 -> 90% 신뢰수준에서 +- 8.25%

표본이 500개일 때 -> 90% 신뢰수준에서 +- 3.69%

표본이 1000개일 때 -> 90% 신뢰수준에서 +- 2.61%

 

예컨대 2018년 GSL Code S 진출자가 저그 37.5% / 프로토스 34.4% / 테란 28.1%라고 하면 그 통계로 알 수 있는 건 이것임.

 

밸런스 변화와 경기규칙의 변화가 없다고 가정할 때 다음 시즌 GSL 코드S의 각 종족 진출비율

 

저그의 진출비율은 22.92~52.08% 사이일 확률이 90%임.

토스의 진출비율은 19.82~48.98% 사이일 확률이 90%임.

테란의 진출비율은 13.52~42.68% 사이일 확률이 90%임.

 

물론 이것은 시간에 따른 플레이 메타의 변화가 있을 경우 종족간 유불리가 변화할 경우 달라질 수 있는 부분임.

 

어쨌든 이 정도 통계 신뢰도라면 이것만 보고 테란이 정말 통계적으로 약하다고 손쉽게 결론낼 수 있을까?

 

 

2. 그래서 보통 표본조사는 최소 1000개 정도가 되야 의미있다고 봄.

 

예를 들어 테프전 경기를 1000번 해서 테란 500승, 프로토스 500승을 했다, 그러면 실제 테프전의 밸런스는 47.39~52.61 사이에 있을 확률이 90%라고 보면 됨.

 

3. 그렇다고 최상위권 1000 경기만 골라 뽑는 것도 신뢰도를 액면 그대로 믿게 만들기 힘듬.

 

왜냐하면 테프전 1000경기를 프로경기에서만 모은다면 경기 숫자로는 1000경기이지만 실질적으로 100명도 안되는 최상위 테란유저와 100명도 안되는 최상위 토스유저의 비교가 됨. 그런데 100명 정도 선수풀의 표본만 들고 비교한다면 위의 신뢰도 수준으로 볼때 과연 믿을만한 것인지 의문이 들 수밖에 없음.

 

밸런스가 5:5라고 가정했을 때 테란의 상위 100명이 토스의 상위 100명보다 대체로 높은 실력을 갖추고 있음에도 프로토스의 오버밸런스 때문에 5:5에 맞춰진 것인지, 아니면 정말 밸런스가 잘 맞아서 동등한 평균실력에 동등한 밸런스가 나오는 것인지, 아니면 테란의 오버밸런스인데 프로토스 선수들이 잘해서 5:5인 것인지 알 수가 없음.

 

ex)

"최소한 국내리그 본선급 통계 이상의 신뢰도를 줄 수 있는 지표는 없다고봄."

 

>> 아니다 오히려 아마추어와 외국 선수들의 통계도 어느정도 균등하게 추출된 통계가 통계적으로 더 신뢰도가 높다. 국내경기 본선급에 국한해 밸런스를 규정하면 그 경기 선수들의 실제 실력이 변인통제가 되지 않았을 가능성이 아주 훨씬 크기 때문이다.

머 그래도 팀리그가 있거나(프로리그, GSTL), 양대리그거나, 리그 텀이 짧아서 메타가 그리 변하지 않은 상태에서 2개 리그가 진행되던 시절(12년까지 GSL)에는 3~4달 안에 특정 종족전이 200게임 이상 진행되어서 국내리그만 봐서 어느 정도 괜찮은 밸런스(+-5%정도) 통계를 잡을 수 있었는데 지금은 그냥 글로벌 통계 보는 게 낫죠

아 그러면 글로벌 통계 같은 경우가 오히려 더 신뢰성이 높을 수 있겠네요