LoLTracker

 

Analyse des données et statistiques de Clash

Banner_Image_kit69fkk1d1e3ifzibd4
...

Clash Beta data analysis | Hextechlab

Review of Clash by the numbers, from analyzing impact of scouting system on champion picks and bans to rank-wise fairness inside brackets.

Introduction

Clash est un des plus gros projets pour League of Legends, et vise à améliorer l’environnement compétitif du jeu. Annoncé il y a plus de deux ans, il a connu beaucoup de problèmes techniques, ce qui a repoussé son lancement de plusieurs années. Après plusieurs essais plus ou moins réussis, il est finalement prêt pour son lancement officiel.

Ayant plusieurs questions sur Clash, à propos des différences effective avec la SoloQ, l'impact sur le nombre de parties ou sur l'équité compétitive, j'ai décidé de faire une analyse de données sur Clash. J'ai rassemblé des données sur 4 millions de parties de LoL durant le week-end Clash en EUW du 5 et 6 octobre 2019, incluant plus de 85.000 parties de Clash, ainsi que certaines du week-end précédent, et utilisant l'API Riot Games. J'ai effectué l'analyse en trois points principaux : le nombre de parties, le rang des joueurs et les champions.

Contexte

League of Legends

League of Legends (LoL) est un jeu vidéo compétitif, et particulièrement un MOBA (Multiplayer Online Battle Arena, ou Arène de bataille en ligne multijoueur), lancé en 2009 par Riot Games et en développement constant depuis, et dérivé du mod DotA de Warcraft III. Une partie dure environ entre 20 et 40 minutes et confronte 10 joueurs en deux équipes de 5, le but étant de prendre la base adverse. Chaque joueur contrôle un champion, une entité avec ses propres stats, des compétences uniques, et pouvant se personnaliser avec des objets, ayant eux-mêmes leurs propres stats et particularités.

Clash

Si Riot Games a principalement géré la scène compétitive des équipes seulement au niveau professionnel en laissant le "bas niveau" à d'autres structures, ils ont finalement décidé d'organiser des événements tournois ouverts à tout joueur classé de LoL tout en maintenant l'intégrité compétitive : Clash.

Un événement Clash prend la forme de deux tournois indépendant, un le samedi et l'autre le dimanche. La semaine précédant Clash, les joueurs peuvent s'assembler en équipes. Quand le tournoi commence, les équipes sont rassemblées en groupes de 8, en fonction des classements des joueurs dans les autres files classées. Les équipes vont ensuite jouer dans un arbre de tournoi (quart de finale, demi-finale, finale) avec repêchage. Avant chaque partie, les équipes peuvent consulter des informations sur l'équipe qu'ils vont affronter afin de trouver les forces et faiblesses et d'adapter leur stratégie, autant pendant la sélection des champions, la période avant chaque partie où les joueurs choisissent les champions à bannir et à jouer, ainsi que pendant la partie elle-même.

FAQ Clash
 pour plus de détails.

Nombre de parties

Une de mes premières questions était combien de parties de Clash sont jouées, et si ça pouvait être la cause des crashs multiples des tests précédents, j'ai donc rassemblé toutes les parties jouées durant le week-end Clash, et celui précédent comme témoin. La figure 1 est une paire d'histogrammes du nombre de création de parties par tranches de 10 minutes. Sur celui du dessous, les parties de Clash sont en orange. Cela indique clairement des pics anormaux comme le dimanche où il y a eu près de 13.000 créations de parties en 10 minutes alors qu'en temps normal, il y en a plutôt 9.000. Il est important de noter que pendant cette session de Clash, les joueurs pouvaient lancer leur première partie assez librement entre 19h et 21h selon leur niveau alors que pendant les premiers test, toutes les parties d'un même niveau étaient lancées en même temps, ce qui causait vraisemblablement une importante surcharge au niveau des serveurs. Le lancement libre est une façon d'alléger cette charge et d'éviter les crashs.

Figure 1 : Histogrammes de créations de parties

Au niveau des joueurs, si un peu plus de la moitié (52%) ont joué un jour sur les deux, Clash est conçu pour leur faire jouer plus d'une partie. Dans cette session, le repêchage assure que toutes les équipes puissent jouer au moins deux fois par jour (et trois fois avec le nouveau système). La figure 2 représente le nombre de parties de Clash par joueur. On remarque les 15 joueurs qui ont joué 7 parties dans le week-end. Si je ne peux pas être sûr de ce qu'il s'est passé, je peux supposer qu'un groupe puisse être annulé si trop d'équipes ne peuvent pas jouer, et qu'après une partie dans un tel groupe, une équipe puisse être replacée dans un autre groupe et ait à jouer encore une fois une "première" partie.

Figure 2 : Nombre de parties par joueur

Je n'ai pas plus creusé sur les parties, mais on peut dire que Clash a eu un gros impact sur le nombre de parties jouées et que ça a rassemblé beaucoup de joueurs sans pour autant vider les autres modes de jeu, cela peut être interprété comme une bonne façon d'attirer de nouveaux joueurs ou d'anciens qui reviennent pour l'occasion.

Niveau des joueurs

Sans doute la partie la plus importante de cette analyse, à propos d'un élément clé de Clash, c'est l'équité compétitive du tournoi. La mesurer s'avère compliqué et plein de décisions arbitraires et contestable, mais je m'y suis essayé.

Avant toute chose, une petite revue de la distribution des joueurs dans le classement SoloQ. La figure 3 permet de visualiser cette distribution et de la comparer avec celles des joueurs de Clash. Le nombre à chaque division est le pourcentage de joueur de cette division ayant joué à Clash. On peut voir ainsi une tendance claire, plus on est haut dans le classement, plus il y a de chances qu'on participe à Clash. Je vois deux explications, et qui sont compatibles, Clash visant la compétition et un joueur compétitif étant généralement plus haut dans le classement, mais aussi qu'un joueur ne jouant pas souvent, et donc indisponible pour Clash, a moins de temps pour monter.

Figure 3 : Distribution du classement de tous les joueurs et des joueurs de Clash
C'est l'heure des définitions pour les métriques.

  • Niveau : Traduction en nombre du classement des joueurs (Challenger, Fer...) avec Fer=1 jusqu'à Challenger=9.
  • Niveau (d'équipe) : Chaque joueur d'une équipe ayant un niveau, le niveau d'équipe est la moyenne de ces valeurs.
  • Disparité : Même chose que pour le niveau d'équipe, sauf que l'on prend la variance au lieu de la moyenne. Cela permet de trouvé les différences important de niveau dans une même équipe, par exemple, un Diamant avec 4 Bronzes.
  • Variance de Niveau : Au sein d'un même groupe, la variance du niveau des équipes.
  • Variance de Disparité : Au sein d'un même groupe, la variance de la disparité des équipes.
  • Amplitude de Niveau : Différence entre le Niveau d'équipe le plus élevé et le Niveau d'équipe le plus bas dans un même groupe.

Et donc, pourquoi autant de métriques ? D'abord, on s'occupe de plusieurs entités : équipes et groupes, et chacune a besoin de ses propres métriques. Ensuite, juste s'occuper du niveau moyen d'une équipe cache la dimension de la composition de cette équipe, et c'est pourquoi la Disparité permet d'évaluer cette dimension. Je pense personnellement que les équipes devraient être regroupées en prenant en compte leur composition, et non seulement leur niveau moyen.
Un exemple de comment fonctionnent ces métriques. Prenez une équipe avec 3 Diamant (Niveau=6), un Platine (Niveau=5) et un Or (Niveau=4). Leur Niveau d'équipe est de 5,4 et comme chaque joueur a à peu près le même niveau (même si la différence Or-Diamond reste important), leur Disparité est de 0,8. Comparons avec une autre équipe composée d'un Challenger (Niveau=9), un Grand Maître, un Diamant et deux Bronzes, ils ont aussi un Niveau d'équipe de 5,4. Cependant, leur Disparité est de 10,8 et révèles la grande différence entre les joueurs de haut niveau (Challenger, Grand Maître et éventuellement Diamant) et les joueurs Bronze. Dans ce que j'estime être une partie équitable, ces deux équipes ne devraient pas s'affronter.

Dans cette perspective, j'ai calculé ces métriques sur plus de 4.200 groupes.

La figure 4 montre la distribution de la Variance de Disparité par groupe, et elle est un peu asymétrique vers le bon côté. La plupart des groupes n'ont pas d'équipe qui ressort par rapport aux autres, mais une part important (plus de 25%) a quand même une grande Variance de Disparité, ce qui laisse pas mal de place pour s'améliorer.
Figure 4 : Variance de Disparité par groupe

La figure 5 montre la distribution de Variance de Niveau, et les résultats sont assez bon sachant que plus de trois quarts des groupes ont moins de 0.1 de Niveau de Variance. En revanche, il y a plusieurs cas particuliers où cette Variance de Niveau est à plus de 0.5, et sont des groupes où des équipes ayant des joueurs Diamant ou même Platine sont placées avec des groupes composés de Grand Maîtres ou de Challenger. Il est possible qu'à ce niveau, il soit plus difficile de trouver assez d'équipes avec un niveau assez proche.

Figure 5 : Variance de Niveau par groupe

La figure 6 montre l'Amplitude de Niveau dans chaque groupe et raconte une autre histoire. Plus d'un quart des groupes a une Amplitude de Niveau de 1 ou plus. Mis en perspective, cela signifie que plus de 1000 équipes ont été placées dans des groupes avec une équipe de Niveau d'au moins une Ligue plus haute (5 Or contre 5 Platine par exemple) ce qui est assez dérangeant.

Cela m'a fait me poser une autre question, à propos des chances de gagner dans le groupe, avant même que la première partie ait commencé.
L'équipe avec le plus bas Niveau unique dans un groupe n'a gagné 3 partie (et donc atteint et gagné la finale) seulement dans 8% des groupes, alors que celle avec le plus haut Niveau unique dans 20% des groupes, alors que la probabilité de base est de 12.5 (1/8).
Dans le cas de las Disparité, on a aussi une forte tendance. L'équipe avec la plus basse Disparité unique gagne dans 17% des groupes et celle avec la plus haute disparité dans seulement 9%.
Même si cela était prévisible et pourrait être considéré comme normal, je pense pas que ce soit raisonnable dans un environnement compétitif et équitable. Avoir plus de deux fois plus de chances de gagner qu'une autre équipe du même groupe pour la seule et unique raison qu'on ait été placé dans ce groupe en particulier n'est pas équitable.

C'est tout pour l’analyse sur les classements. Si dans l'ensemble, le système qui crée les groupes fait assez bien son travail, il présente cependant quelques défauts majeurs qui devraient être corrigés.

Champions

Dernière partie mais pas des moindres, je voulais mesurer la différence entre la SoloQ et Clash. Et bien sûr, ça passe par les statistiques de champions.

Tout d'abord, les taux de ban. Sachant que la plus grande différence avec la SoloQ est la phase d'analyse de l'équipe adverse, c'est ici que devraient s'opérer les plus gros changements.

La figure 7 est une représentation visuelle des taux de ban des champions, et plus précisément le nombre de champions par taux de ban pour la SoloQ, le Flex et Clash. Le format peut paraître inhabituel mais il permet de remarquer plusieurs choses intéressantes.

Tout d'abord, la SoloQ et la Flex ont des distributions de taux de ban très semblables et peuvent être résumés en deux grands groupes : celui grandement majoritaire des champions très faiblement concernés par les bans (les grandes barres à gauche) et celui des quelques champions qui sont très souvent bannis (les petits points vers la droite). Pour Clash, ces deux groupes sont plus diffus : beaucoup moins de champions quasiment jamais bannis, mais aussi moins de champions très souvent bannis.

Figure 7 : Nombre de champions par taux de ban
Plusieurs différences particulières entre les bans de SoloQ et de Clash :

Les champions qui sont bien moins bannis dans Clash :

  • Pyke : 52% ↘ 22%
  • Blitzcrank : 40% ↘ 15%
  • Zed : 50% ↘ 24%
  • Evelynn : 29% ↘ 8%
  • Master Yi : 34% ↘ 13%

Les champions qui sont bien plus bannis dans Clash :

  • Kai'Sa : 10% ↗ 24%
  • Thresh : 7% ↗ 20%
  • Xayah : 6% ↗ 18%
  • Vayne : 10% ↗ 21%
  • Jinx : 6% ↗ 17%

Mention honorable pour Yasuo qui a un fort taux de ban aussi bien en SoloQ que dans Clash.

Fait remarquable, 6 des 10 plus importantes hausses de taux de ban concernent les ADC (Tireurs). Dans les équipes organisées, il semble que ce rôle soit plus effrayant, mais est-ce justifié ? Une façon simple de mesurer l'efficacité de ban un champion est de calculer le taux de victoire des équipes ayant ban ce champion, ou en d'autres mots, quelles sont vos chances de gagner si vous bannissez ce champion. Si on regarde la SoloQ, les bans "par défaut", ou bannir un champion qui est habituellement banni, ont très peu d'effets car le taux de victoire dans ces cas est très proche de 50%. Encore plus flagrant, ne pas bannir de champion résulte en un taux de victoire de 49,72%. Pour Clash, ne pas bannir de champion résulte en un taux de victoire de 35,93%, et les bans "par défaut" ont tendance à impacter négativement les taux de victoire. Bannir un ADC ne semble pas très efficace à l'exception de Jinx, un ban par défaut sur un ADC résulte plus souvent en un défaite. En revanche, les bans contre les tanks et les supports sont souvent plus efficaces.

Du côté des taux de sélection, il y a aussi des différences, mais moins spectaculaires que pour les taux de bans :

Les champions qui sont bien moins sélectionnés dans Clash :

  • Yasuo : 20% ↘ 11%
  • Teemo : 10% ↘ 2%
  • Master Yi : 11% ↘ 4%
  • Lux : 20% ↘ 13%
  • Lee Sin : 15% ↘ 9%

Les champions qui sont bien plus sélectionnés dans Clash :

  • Xayah : 12% ↗ 27%
  • Rakan : 9% ↗ 20%
  • Morgana : 16% ↗ 26%
  • Sejuani : 12% ↗ 22%
  • Nautilus : 12% ↗ 22%

Il est intéressant de remarquer que les hausses et baisses de bans et de sélection sont assez corrélés, par exemple avec Xayah qui est bien plus sélectionnée ET bannie, à l'inverse de Master Yi. Cela peut être une bonne façon de voir quels champions sont plus adaptés à l'environnement de la SoloQ et ceux qui sont plus adaptés au jeu d'équipe, et ainsi plus ressembler à ce qu'on peut voir sur la scène professionnelle. Sur ce point, c'est un succès.

Petit aparté concernant les Maîtrises, 60% des bans sont contre un champion de Maîtrise Rang 7 de l'équipe adverse. Pire encore, si vous êtes un OTP (selon ma définition, quelqu'un dont plus de la moitié des points de maîtrise sont sur un seul champion), votre champion préféré sera ban dans 69% des parties, et que si par chance vous arrivez à le sélectionner, le taux de victoire dans ce cas n'est que de 48%.

Conclusion

Dans l'ensemble, Clash est un mode de tournoi qui a un impact très positif pour League of Legends. Même si l'équité des groupes est quelque chose qui devrait être amélioré, les changements drastiques au niveau des parties, des bans et des sélections, font de Clash un pari réussi pour Riot Games.

J'ai fait cette analyse pour le fun et la partage pour donner aux autres des informations et des connaissances sur Clash qu'ils cherchaient (ou pas). Si vous avez des retours à faire, n'hésitez pas à les donner, et si vous êtes curieux à propos de comment j'ai fait pour faire cette analyse, le code est en ligne sur Github (en anglais et en Python) :

https://github.com/HextechLab/Clash

Annexes

file
Nom du fichier : Statistiques-compltes
Taille du fichier : 30 kb
Télécharger le fichier
RedTracker #303 : Parité de l'autofill et des duos...
/dev : nouveautés du système de TFT : Galaxies - L...
 
You must login to post a comment.
People in conversation:
Loading comment... The comment will be refreshed after 00:00.
  • This commment is unpublished.
    Mithrandir · 4 years ago
    Assez intéressant comme analyse, j'irai bien jeter un coup d’œil aux tableurs
    • This commment is unpublished.
      Philidia
      • Administrateur du site
      · 4 years ago
      N'hésite pas, il y a pleins de données sympas ^^
   facebook   Discord2   rss   logo twitter   

Derniers articles

LoLTracker ferme ses portes après plus de 10 ans de bons et loyaux services !
Thèmes abordés : Fermeture imminente du site, Project L, pause de fin d'année chez Riot, Riot mobile, et bien plus !...
Analysons les problèmes actuels de Yuumi et notre manière d'aborder sa refonte.
Une nouvelle mise à jour a eu lieu sur le PBE, apportant de l'équilibrage
C'est le dernier patch de l'année, la 12.23B est là !