Riot nous livre ici un article nous permettant d'en savoir un peu plus sur la recherche. Vous y apprendrez que si Riot se sert beaucoup des données du jeu, ce n'est pas la seule information qui entre en compte dans le développement de nouvelles fonctionnalités, de nouveaux concepts, ou simplement pour l'équilibrage.
Être informé par les données
Chez Riot, nous sommes « informés par les données ». Cela signifie que nous utilisons des outils de recherches pour recueillir de grandes quantités d’informations sur LoL, cela ne nous empêche pas d’utiliser beaucoup d’autres outils à coté lorsque nous savons comment nous allons modifier le jeu. Les données sont justes un des outils que nous utilisons parmi d’autres comme l’expérience, l’éducation et l’intuition du bon vieux joueur. « Être informé par les données », nous dit Davin Pavlas de l’équipe de recherche, c’est « incorporer des données au sein de notre processus de décision, et non pas laisser les données décider à notre place ».
Afin d’être réellement informés par les données, nous devons aller plus loin que les statistiques basiques comme le taux de victoire et le taux de pick/ban. Dans cet article, nous expliquerons comment nous utilisons les données et comment nous concevons leur utilité. Les Rioters derrière l'insight team - celle-là même qui est derrière le tout nouveau blog clairvoyance - se base en particulier sur trois outils de recherche : les questionnaires, l’analyse de données et les études de laboratoires.
Auriez-vous un instant à nous accorder pour répondre à 6 000 questions à propos de notre service ?
Les questionnaires sont utiles pour connaitre ce que les joueurs veulent (Skins, modes ? Quelqu’un à aimer ?). Des fois, nous les utilisons pour qu’ils répondent à des questions vraiment évidentes comme « aimeriez-vous plus de modes de jeu alternatifs ? » Sans surprise, les joueurs répondent par un « oui svp ». La raison pour laquelle nous posons ces questions est de comprendre comment les joueurs classent les potentiels changements que nous pourrions apporter au jeu par rapport à d’autres choses qu’ils pourraient aussi vouloir.
À mesure que les données s’accumulent, nous sommes capables de comparer et de contraster les idées sur une échelle qui les classe les unes par rapport aux autres. Bien sûr, les joueurs aiment avoir de nouvelles façons de jouer à LoL. « Mais jusqu’à quel point par rapport à d’autres propositions ? » Demande David Pavlas. « À quel point veulent-ils ce nouveau mode de jeu par rapport à d’autres choses qu’ils attendent réellement et que nous n’avons pas encore mis en place ? »
Nous utilisons aussi les questionnaires de façons plus décalées. Par exemple, nous pourrions poser une question à propos d’un changement très controversé même si nous n’avons pas prévu de le mettre en place juste pour calibrer notre détecteur de mauvaises idées.
Mais là où les questionnaires deviennent réellement utiles, c’est lorsqu’ils sont rassemblés. Quand nous pouvons comparer des dizaines de milliers de réponses sur une période de temps assez longue. Nous pouvons alors faire de meilleures hypothèses sur comment les joueurs évaluent les choses. Les questionnaires nous donnent aussi une chance de connaitre la position des joueurs par rapport à nos idées. Évidemment, nous préférons faire des changements que tout le monde aime, mais même les idées largement applaudies par la communauté, seront mal accueillies par certains.
Préparez vos feuilles de calculs !
Si les questionnaires correspondent aux sentiments des joueurs - ou tout du moins à ce qu’ils disent ressentir - l’analyse nous permet, elle, de compiler des tonnes de données à propos de ce que les joueurs font en jeu. Beaucoup de nos outils d’analyse sont directement inclus dans le jeu. Il y a les données assez évidentes auxquelles vous vous attendez (Combien de parties les gens jouent par jour ? Quel pourcentage de ces parties inclut un AFK ?), mais nous allons aussi beaucoup plus loin, par exemple : nous observons le nombre de A de Annie par secondes dans chaque région. En fait, tout comme un super père noël, nous savons quand vous utilisez rappel et quand vous achetez un phage.
Comme le dit Rudi Bonaparte, qui se concentre sur les données recueillies, « L’analyse convertit des milliards d’heures de jeu en informations exploitables par les rioters, ce qui leur permettra de rendre le jeu encore plus génial. » Prenez Yasuo par exemple. Quand nous l’avons sorti lors du patch 3.15 en décembre 2013, il est arrivé dans la faille de l’invocateur avec un taux de victoire de 36%. À nos débuts, nous aurions surement sur-corrigé Yasuo à l’aide de buffs, mais les données nous ont indiqués que des changements très légers suffiraient, et que la correction de quelques bugs de fonctionnement devrait suffire à le rendre équilibré.
On s’est rapidement rendu compte que Yasuo avait une courbe de progression très raide, son ratio de victoire ne dépassait pas les 50% avant les 35 parties jouées. Et effectivement, quelques semaines après sa sortie, nous avons dû le nerf un peu lors du patch 4.2.
Si nous voulons comprendre l’équilibrage, cela passe donc par de l’analyse de données. Tout le monde regarde le ratio de victoire d’un champion et, bien que cela soit important, il faut aller plus loin dans l’analyse pour arriver à un meilleur équilibrage. Si personne n’utilise un certain sort, nous revisiterons le champion pour voir s’il a besoin d’un changement afin de rendre tous les sorts utiles par exemple.
Ne prêter pas attention aux rioters derrière le miroir
Si les questionnaires nous en apprennent plus sur la façon de penser de nos joueurs et sur l’analyse de la façon dont ils jouent, les études de laboratoires, où nous convions des joueurs dans nos bureaux pour les observer jouer, sont une chance pour nous de replacer notre savoir dans son contexte.
Le mot laboratoire vous évoque peut-être les blouses et les tubes remplis de produits chimiques, mais dans notre cas c'est beaucoup plus simple, nous faisons venir des joueurs, ils signent des règles de confidentialité très strictes, puis nous les faisons jouer des nouveaux champions, ou des nouveautés encore en travaux pendant que nous les observons derrière une vitre sans teint.
Les laboratoires nous permettent de capter des choses que nous ne pourrions pas avoir autrement. L’une des premières choses que nous avons réalisée quand nous avons commencé ces études est que beaucoup de nouveaux joueurs (même parmi les joueurs expérimentés dans les jeux vidéos) ne savaient pas où placer leurs mains la première fois qu’ils jouent. Ils laissaient leurs mains sur la fameuse disposition QZSD, ou ils ignoraient totalement le clavier.
« Ma femme jouait avec les doigts sur QZSD » nous explique Pavlas. « Nous ne l’avions jamais remarqué pendant 2 ans, et elle ne peut plus changer ça maintenant. » Personne ne s’est dit « Hey, je ne sais pas comment placer mes mains sur le clavier » dans un questionnaire. Cela fait simplement partie de ces choses évidentes mais très faciles à résoudre. Ainsi, nous avons depuis ajouté une image montrant comment vous devez placer vos mains sur le clavier dans le tutoriel. Problème résolu.
La meilleure utilisation des labos est lorsque nous présentons aux joueurs de nouveaux concepts et que nous avons leurs réactions immédiates en direct. Ils réagissent parfois de façons surprenantes aux nouveaux champions et autres contenus, et de manières parfois surprenantes pour nous aussi, donc être dans la même pièce qu’eux lorsqu’ils l’utilisent pour la première fois nous permet de prendre du recul sur nos idées.
Être informé par les données signifie que nous essayons d’apprendre au maximum.
Pour finir, la recherche à Riot tourne autour de la collaboration avec les joueurs. Il y a énormément à apprendre à propos de vous sur la faille, et nous avons besoin d’énormément de façons de vous écouter. Nous sommes passionnés par les données, et nous travaillons dur pour maintenir la balance entre données et instinct afin d’être informé par les données et non pas contrôlés par celles-ci.
Nos efforts de recherches nous apprennent pleins de choses étranges à propos de LoL et de ceux qui y jouent. Pour continuer à offrir des contenus de qualité, nos équipes de recherche se doivent d’apprendre continuellement. N’hésitez pas à consulter les 2 premiers articles de notre nouveau blog clairvoyance ici et là.