Analyse des données et statistiques de Clash

Introduction​

Clash est un des plus gros projets pour League of Legends, et vise à améliorer l’environnement compétitif du jeu. Annoncé il y a plus de deux ans, il a connu beaucoup de problèmes techniques, ce qui a repoussé son lancement de plusieurs années. Après plusieurs essais plus ou moins réussis, il est finalement prêt pour son lancement officiel.

Ayant plusieurs questions sur Clash, à propos des différences effective avec la SoloQ, l'impact sur le nombre de parties ou sur l'équité compétitive, j'ai décidé de faire une analyse de données sur Clash. J'ai rassemblé des données sur 4 millions de parties de LoL durant le week-end Clash en EUW du 5 et 6 octobre 2019, incluant plus de 85.000 parties de Clash, ainsi que certaines du week-end précédent, et utilisant l'API Riot Games. J'ai effectué l'analyse en trois points principaux : le nombre de parties, le rang des joueurs et les champions.

Contexte​

League of Legends

League of Legends (LoL) est un jeu vidéo compétitif, et particulièrement un MOBA (Multiplayer Online Battle Arena, ou Arène de bataille en ligne multijoueur), lancé en 2009 par Riot Games et en développement constant depuis, et dérivé du mod DotA de Warcraft III. Une partie dure environ entre 20 et 40 minutes et confronte 10 joueurs en deux équipes de 5, le but étant de prendre la base adverse. Chaque joueur contrôle un champion, une entité avec ses propres stats, des compétences uniques, et pouvant se personnaliser avec des objets, ayant eux-mêmes leurs propres stats et particularités.

Clash

Si Riot Games a principalement géré la scène compétitive des équipes seulement au niveau professionnel en laissant le "bas niveau" à d'autres structures, ils ont finalement décidé d'organiser des événements tournois ouverts à tout joueur classé de LoL tout en maintenant l'intégrité compétitive : Clash.

Un événement Clash prend la forme de deux tournois indépendant, un le samedi et l'autre le dimanche. La semaine précédant Clash, les joueurs peuvent s'assembler en équipes. Quand le tournoi commence, les équipes sont rassemblées en groupes de 8, en fonction des classements des joueurs dans les autres files classées. Les équipes vont ensuite jouer dans un arbre de tournoi (quart de finale, demi-finale, finale) avec repêchage. Avant chaque partie, les équipes peuvent consulter des informations sur l'équipe qu'ils vont affronter afin de trouver les forces et faiblesses et d'adapter leur stratégie, autant pendant la sélection des champions, la période avant chaque partie où les joueurs choisissent les champions à bannir et à jouer, ainsi que pendant la partie elle-même.

FAQ Clash pour plus de détails.

Nombre de parties​

Une de mes premières questions était combien de parties de Clash sont jouées, et si ça pouvait être la cause des crashs multiples des tests précédents, j'ai donc rassemblé toutes les parties jouées durant le week-end Clash, et celui précédent comme témoin. La figure 1 est une paire d'histogrammes du nombre de création de parties par tranches de 10 minutes. Sur celui du dessous, les parties de Clash sont en orange. Cela indique clairement des pics anormaux comme le dimanche où il y a eu près de 13.000 créations de parties en 10 minutes alors qu'en temps normal, il y en a plutôt 9.000. Il est important de noter que pendant cette session de Clash, les joueurs pouvaient lancer leur première partie assez librement entre 19h et 21h selon leur niveau alors que pendant les premiers test, toutes les parties d'un même niveau étaient lancées en même temps, ce qui causait vraisemblablement une importante surcharge au niveau des serveurs. Le lancement libre est une façon d'alléger cette charge et d'éviter les crashs.

Au niveau des joueurs, si un peu plus de la moitié (52%) ont joué un jour sur les deux, Clash est conçu pour leur faire jouer plus d'une partie. Dans cette session, le repêchage assure que toutes les équipes puissent jouer au moins deux fois par jour (et trois fois avec le nouveau système). La figure 2 représente le nombre de parties de Clash par joueur. On remarque les 15 joueurs qui ont joué 7 parties dans le week-end. Si je ne peux pas être sûr de ce qu'il s'est passé, je peux supposer qu'un groupe puisse être annulé si trop d'équipes ne peuvent pas jouer, et qu'après une partie dans un tel groupe, une équipe puisse être replacée dans un autre groupe et ait à jouer encore une fois une "première" partie.

Je n'ai pas plus creusé sur les parties, mais on peut dire que Clash a eu un gros impact sur le nombre de parties jouées et que ça a rassemblé beaucoup de joueurs sans pour autant vider les autres modes de jeu, cela peut être interprété comme une bonne façon d'attirer de nouveaux joueurs ou d'anciens qui reviennent pour l'occasion.

Niveau des joueurs​

Sans doute la partie la plus importante de cette analyse, à propos d'un élément clé de Clash, c'est l'équité compétitive du tournoi. La mesurer s'avère compliqué et plein de décisions arbitraires et contestable, mais je m'y suis essayé.

Avant toute chose, une petite revue de la distribution des joueurs dans le classement SoloQ. La figure 3 permet de visualiser cette distribution et de la comparer avec celles des joueurs de Clash. Le nombre à chaque division est le pourcentage de joueur de cette division ayant joué à Clash. On peut voir ainsi une tendance claire, plus on est haut dans le classement, plus il y a de chances qu'on participe à Clash. Je vois deux explications, et qui sont compatibles, Clash visant la compétition et un joueur compétitif étant généralement plus haut dans le classement, mais aussi qu'un joueur ne jouant pas souvent, et donc indisponible pour Clash, a moins de temps pour monter.

• Niveau : Traduction en nombre du classement des joueurs (Challenger, Fer...) avec Fer=1 jusqu'à Challenger=9.
• Niveau (d'équipe) : Chaque joueur d'une équipe ayant un niveau, le niveau d'équipe est la moyenne de ces valeurs.
• Disparité : Même chose que pour le niveau d'équipe, sauf que l'on prend la variance au lieu de la moyenne. Cela permet de trouvé les différences important de niveau dans une même équipe, par exemple, un Diamant avec 4 Bronzes.
• Variance de Niveau : Au sein d'un même groupe, la variance du niveau des équipes.
• Variance de Disparité : Au sein d'un même groupe, la variance de la disparité des équipes.
• Amplitude de Niveau : Différence entre le Niveau d'équipe le plus élevé et le Niveau d'équipe le plus bas dans un même groupe.

La figure 5 montre la distribution de Variance de Niveau, et les résultats sont assez bon sachant que plus de trois quarts des groupes ont moins de 0.1 de Niveau de Variance. En revanche, il y a plusieurs cas particuliers où cette Variance de Niveau est à plus de 0.5, et sont des groupes où des équipes ayant des joueurs Diamant ou même Platine sont placées avec des groupes composés de Grand Maîtres ou de Challenger. Il est possible qu'à ce niveau, il soit plus difficile de trouver assez d'équipes avec un niveau assez proche.

La figure 6 montre l'Amplitude de Niveau dans chaque groupe et raconte une autre histoire. Plus d'un quart des groupes a une Amplitude de Niveau de 1 ou plus. Mis en perspective, cela signifie que plus de 1000 équipes ont été placées dans des groupes avec une équipe de Niveau d'au moins une Ligue plus haute (5 Or contre 5 Platine par exemple) ce qui est assez dérangeant.

Cela m'a fait me poser une autre question, à propos des chances de gagner dans le groupe, avant même que la première partie ait commencé.
L'équipe avec le plus bas Niveau unique dans un groupe n'a gagné 3 partie (et donc atteint et gagné la finale) seulement dans 8% des groupes, alors que celle avec le plus haut Niveau unique dans 20% des groupes, alors que la probabilité de base est de 12.5 (1/8).
Dans le cas de las Disparité, on a aussi une forte tendance. L'équipe avec la plus basse Disparité unique gagne dans 17% des groupes et celle avec la plus haute disparité dans seulement 9%.
Même si cela était prévisible et pourrait être considéré comme normal, je pense pas que ce soit raisonnable dans un environnement compétitif et équitable. Avoir plus de deux fois plus de chances de gagner qu'une autre équipe du même groupe pour la seule et unique raison qu'on ait été placé dans ce groupe en particulier n'est pas équitable.

C'est tout pour l’analyse sur les classements. Si dans l'ensemble, le système qui crée les groupes fait assez bien son travail, il présente cependant quelques défauts majeurs qui devraient être corrigés.

Champions​

Dernière partie mais pas des moindres, je voulais mesurer la différence entre la SoloQ et Clash. Et bien sûr, ça passe par les statistiques de champions.

Tout d'abord, les taux de ban. Sachant que la plus grande différence avec la SoloQ est la phase d'analyse de l'équipe adverse, c'est ici que devraient s'opérer les plus gros changements.

La figure 7 est une représentation visuelle des taux de ban des champions, et plus précisément le nombre de champions par taux de ban pour la SoloQ, le Flex et Clash. Le format peut paraître inhabituel mais il permet de remarquer plusieurs choses intéressantes.

Tout d'abord, la SoloQ et la Flex ont des distributions de taux de ban très semblables et peuvent être résumés en deux grands groupes : celui grandement majoritaire des champions très faiblement concernés par les bans (les grandes barres à gauche) et celui des quelques champions qui sont très souvent bannis (les petits points vers la droite). Pour Clash, ces deux groupes sont plus diffus : beaucoup moins de champions quasiment jamais bannis, mais aussi moins de champions très souvent bannis.

• Pyke : 52% ↘ 22%
• Blitzcrank : 40% ↘ 15%
• Zed : 50% ↘ 24%
• Evelynn : 29% ↘ 8%
• Master Yi : 34% ↘ 13%

• Kai'Sa : 10% ↗ 24%
• Thresh : 7% ↗ 20%
• Xayah : 6% ↗ 18%
• Vayne : 10% ↗ 21%
• Jinx : 6% ↗ 17%

• Yasuo : 20% ↘ 11%
• Teemo : 10% ↘ 2%
• Master Yi : 11% ↘ 4%
• Lux : 20% ↘ 13%
• Lee Sin : 15% ↘ 9%

• Xayah : 12% ↗ 27%
• Rakan : 9% ↗ 20%
• Morgana : 16% ↗ 26%
• Sejuani : 12% ↗ 22%
• Nautilus : 12% ↗ 22%

Conclusion​

Dans l'ensemble, Clash est un mode de tournoi qui a un impact très positif pour League of Legends. Même si l'équité des groupes est quelque chose qui devrait être amélioré, les changements drastiques au niveau des parties, des bans et des sélections, font de Clash un pari réussi pour Riot Games.

J'ai fait cette analyse pour le fun et la partage pour donner aux autres des informations et des connaissances sur Clash qu'ils cherchaient (ou pas). Si vous avez des retours à faire, n'hésitez pas à les donner, et si vous êtes curieux à propos de comment j'ai fait pour faire cette analyse, le code est en ligne sur Github (en anglais et en Python) :

https://github.com/HextechLab/Clash

Annexes​