블리자드가 밸런스가 무너졌다고 판단하지 않는 이유

0. MMR

사실 눈에 보이는 래더 점수는 그냥 표면적인 점수입니다.

흔히 MMR(MatchMaking Rating)이라고 부르는 실제 실력을 나타내는 점수가 있죠.

1. ELO

ELO라는 말 들어봤을 겁니다. 원래 체스 경기에 사용하기 위해서 엘로 박사가 고안해낸 랭킹 시스템입니다.

이 시스템에서는 사람들의 실력이 정규분포를 따른다고 가정합니다. 잘할 때도 있고, 못할 때도 있다는 것이죠. 이때 평균치가 바로 그 사람의 실력(skill) 수치라고 보는 겁니다.

따라서 두 선수의 정규분포 그래프를 겹쳐 보면 한 선수가 다른 선수를 상대로 몇 퍼센트의 승률을 보일 것인지 예측이 가능하다는 것이 이 레이팅 시스템의 핵심입니다. 그러나 이것만으로는 레이팅의 수렴이 상당히 느리고 예측이 부정확하기 때문에 현대 스포츠에서는 거의 사용하지 않습니다.

2. Modern Ratings

Glicko, 또는 Trueskill과 같은 현대 레이팅 시스템은 단순히 skill만을 측정하는  ELO와는 달리, uncertainty라는 항목을 두게 됩니다. 불확정성이라고 해석되는데, 다른 말로 하자면 플레이어의 기복의 정도를 나타낸다고 볼 수도 있고, sklil 점수의 정확도를 나타낸다고 볼 수도 있습니다. 같은 skill rating의 두 선수가 있을 때, 더 많은 게임을 한 선수의 uncertainty는 낮겠죠. 반대로 적은 게임을 한 선수는 아직 rating이 확실한지 여부를 알 수 없기 때문에 uncertainty가 더 높을 겁니다.

Skill과 Uncertainty를 동시에 관리하는 덕분에 Glicko나 Trueskill은 ELO보다 훨씬 빠른 속도로 플레이어의 실력을 찾아낼 뿐만 아니라, 더욱 정밀하게 두 선수 사이의 승리 확률을 계산할 수 있게 됩니다. 내부 공식은 조금 차이가 있겠지만요.

블리자드에서 사용하고 있는 MMR도 자세한 구조는 알려져 있지 않으나, Reverse Engineering을 통해서 이들과 비슷한 구조를 하고 있다는 것이 알려져 있습니다. 다시 말해서 스타 2 래더 시스템 내부에 숨겨진 MMR을 이용하면 어떤 두 선수가 맞붙었을 때 두 선수가 승리할 확률을 상당히 정확하게 구할 수 있는 것입니다.

4. Skill distribution in Races

자, 이러한 시스템이 있기 때문에 다음과 같은 분석이 가능해집니다.

각 종족별로 조금씩 고수와 하수의 숫자가 차이가 있긴 하겠습니다만, 표본의 수가 많으므로 각 종족 내부에서 사람들이 지니는 실력의 분포(skill)도 역시 정규 분포를 따를 것입니다. 블리자드는 모든 래더 유저의 정보를 가지고 있으므로 이 정규 분포의 mean과 deviation을 계산할 수 있습니다.

그리고 블리자드가 정한 리그의 경계선이 있을 것입니다.

예를 들어서 마스터는 상위 3.5%까지, 다이아는 상위 9%까지 등으로 나타낼 수 있겠지요. 

그랜드마스터는 상위 200명인데 퍼센트로 보면 0.1% 정도 될 겁니다.

이때 마스터에서 밸런스가 맞는지 여부를 확인하고 싶다면 어떻게 하면 될까요?

블리자드는 이 모든 자료를 가지고 있기 때문에,

저그에서 상위 3.5%에 해당하는 선수가

타 종족에서 상위 3.5%에 해당하는 선수를 상대로

승리확률이 몇 퍼센트가 되는지를 계산할 수 있게 됩니다.

승률이 50%에 수렴하게끔 매칭이 되므로 래더를 고려하면 안 된다? 아닙니다

오히려 승률이 50% 수렴하게 매칭이 된다는 것 자체가 레이팅 모델의 정확성을 방증하는 것입니다.

따라서 블리자드는 몇 퍼센트 대의 선수들간에 각 종족 사이에 유불리가 얼마나 되는지를 수치적으로 거의 정확하게 계산할 수 있습니다.

최상위권 선수는 계산이 안 될까요? 아뇨. 그들도 고려가 됩니다. 다만, 최상위권과 최하위권은 표본의 수가 적기 때문에 다른 리그에 비해서 상대적으로 정확도가 떨어질 수는 있습니다. 그래서 아마 밸런스 팀은 0.5 ~ 1% 정도를 최상위 선수들의 밸런스 표본으로 삼을 것으로 추측됩니다.

예전에 밸런스 팀은 '같은 실력대에서' 두 종족 간의 승률 차이가 5% 이내이면 아직 손을 쓸 때가 아닌 것으로 보고 있다고 말한 바 있습니다.

다시 말하면 테란대 저그전도 최소한 마스터 레벨에서는 유저들이 생각하는 것만큼 차이가 벌어지지 않는다는 얘기입니다. 그래도 테란이 거의 5%에 가깝게 앞서고 있긴 할 겁니다. 그러니까 감시군주 패치안을 내놓은 것이겠죠.

아무튼 블리자드는 확률과 통계를 이용해서 객관적인 입장에서 밸런스를 평가하고 있으며, 유저들의 주관적인 평가는 참고는 하되 아직 지켜보는 입장일 수밖에 없습니다. 왜냐면 전체적으로는 밸런스가 맞는데 한국 WCS에서만 테란이 크게 앞서고 있는 것이니까요.

그리고 스타 2의 경기양상과 밸런스는 사실 생각외로 크게 바뀝니다. 지난 시즌만 해도 저그가 테란을 상대로 그다지 밀리지 않았고 오히려 최다종족이 저그, 최소종족이 프로토스였죠. 별다른 수정 없는데 이번에는 최다종족이 프로토스고 최소종족이 저그입니다. 따라서 일단은 최소한의 변화만 주고 기다려 보자는 입장을 취하는 것이겠죠.

(한국 최상위권 프로게이머인 WCS 결과는 무시하느냐는 반응이 있을 수 있는데, 아마 고려는 하고 있겠죠. 하지만 이 최상위권 유저들도 래더를 합니다. 오히려 WCS 게임은 소수고, 래더는 최소 수천 수만판의 데이터가 확보되죠. 섣불리 결정할 수 없는 것입니다. 보통 이런 현대 레이팅 시스템은 ELO와 달리 중요한 경기와 중요하지 않은 경기의 차이를 고려하지 않습니다. 고려하면 오히려 정확도가 떨어지기 때문입니다.)

내용과 별개로 mmr은 롤에서 쓰고 그전에 스타2랑 워크는 ell이라고 하지않았나영