Blackout total : la désactivation des files classées

 

Riot a publié un article qui récapitule le déroulement d'une véritable catastrophe survenue pendant la saison 2015, en plein été. Pour ceux qui s'en souviennnent, un bug a affecté de nombreux champions (le premier sur lequel il a été découvert étant Riven), et permettait des rappels (recalls) instantanés :

 

 

Une sacrée histoire, qui n'a pas vraiment fait rire les joueurs qui ont pu subir ceux qui savaient en profiter. Mais chez Riot non plus, ça n'a pas rigolé !

 

 

La présaison est le moment idéal pour s'intéresser aux changements à venir pour League, mais c'est aussi l'occasion de revenir sur ce qui s'est produit pendant l'année passée. Les joueurs se rappelleront peut-être, par exemple, du bug de Rappel lié à Riven qui est apparu en juillet et qui nous a forcés à désactiver les files classées dans le monde entier.

 

 

Voici l'histoire de ce bug et des efforts de toutes les équipes de Riot qui ont travaillé d'arrache-pied pour le corriger.

 

Les horaires indiqués sont ceux du méridien de LA.

 

 

Une vidéo fait rapidement le buzz sur la première page du Subreddit de League of Legends. On y voit un joueur qui démontre un bug massif lié à Riven : avec la « bonne » séquence de touches, elle peut se téléporter instantanément vers son Nexus en ignorant le temps d'incantation du Rappel. Alors que la journée débute à peine pour les équipes de Riot, les retours commencent à affluer concernant le bug et son impact potentiel sur le jeu.

 

   DONNA MASON, Release Manager

 

Nous avons reçu des mails, des pings, et il y a même des gens qui sont venus nous voir en personne, tout ça en même temps. « Oh mon dieu, vous avez vu cette vidéo sur Reddit ? »

 

   SCOTT HANSEN, Live Producer

 

Quelqu'un avait publié une vidéo sur Reddit avec le commentaire « Hé, un truc bizarre s'est produit quand je jouais Riven. »

 

   TIM ISENMAN, Live Producer

 

La première chose qu'on a vue, c'était ce post sur Reddit. C'est là qu'on a commencé à creuser le problème. Plusieurs membres de l'équipe Champions étaient déjà sur le coup.

 

   KACEE GRANKE, Chef De Produit

 

Quand on a vu ce problème avec Riven, on a tout de suite réagi avec prudence.

 

   MARK SASSENRATH, Game Designer Associé

 

Quelqu'un arrive et nous dit : « Hé, on a un bug avec Riven qu'il faut corriger de suite. Vous pouvez régler ce problème ? »

 

   DONNA MASON

 

On s'est donc penchés dessus et on a essayé de le reproduire. Notre but, dans ce genre de situation, c'est de vérifier s'il s'agit d'un pur hasard ou si c'est quelque chose que l'on peut exploiter pour prendre l'avantage. C'est ça qui fait toute la différence. Si le jeu connaît un bug, c'est qu'il y a un souci. Mais si ce bug permet aux joueurs de prendre l'avantage de façon injuste, c'est un très, très gros souci. Et la première question à se poser dans ce genre de cas, c'est : « est-ce que je peux le reproduire ? »

 

   KACEE GRANKE

 

Nous nous sommes attelés à la tâche pour essayer de reproduire le bug en interne. Heureusement, les instructions de la vidéo étaient claires. Parfois dans ce genre de cas, on constate effectivement qu'il y a un sérieux bug, mais on n'a aucune idée de la manière dont il faut s'y prendre pour le reproduire.

 

   SCOTT HANSEN

 

L'équipe Release QA (contrôle qualité avant lancement) a été en mesure de le reproduire assez facilement une fois que ses membres ont compris son fonctionnement. De notre côté (équipe Production Live), nous n'avons pas réussi... Nous ne sommes tout simplement pas assez doués pour ça. Je ne suis qu'un joueur Argent, après tout.

 

   MATTHEW WITTROCK, Release QA

 

J'étais en train de bricoler autour de ce bug et d'un seul coup, j'ai dit : « ça y est, j'ai compris. » Le pire, c'est qu'ensuite j'ai dit : « oh, maintenant j'arrive à le faire constamment. C'est devenu facile. On a un gros problème. »

 

   TIM ISENMAN

 

J'ai demandé : « vu les informations dont on dispose, est-ce qu'on va devoir désactiver Riven ? »

 

   DONNA MASON

 

Tout en analysant les infos rassemblées, on voyait à quelle vitesse le post sur Reddit était diffusé et à quel point la vidéo devenait virale. On a donc décidé de désactiver Riven, car elle semblait être la seule source du problème sur le moment.

 

 

 

   TIM ISENMAN

 

Après avoir désactivé Riven, j'ai reçu plusieurs messages venant de divers Rioters indiquant que d'autres vidéos commençaient à apparaître sur la toile. Des joueurs avaient trouvé le même bug de Rappel avec d'autres champions. D'abord Yasuo, puis Graves, puis de plus en plus de champions.

 

   MARK SASSENRATH

 

Les gens n'arrêtaient pas de venir nous voir pour nous dire « le bug concerne aussi Shen » ou « ça se produit aussi avec tel et tel champion », et la liste continuait de s'allonger.

 

   KACEE GRANKE

 

Presque aussitôt, nous avons commencé à recevoir des retours de notre équipe QA indiquant qu'ils ne pouvaient pas reproduire le bug avec d'autres champions.

 

   MARK SASSENRATH

 

Au fil de la journée, alors qu'on recevait de plus en plus de retours venant des joueurs, on a commencé à comprendre. « Ce n'est pas un bug lié à Riven. C'est un bug général. »

 

   TIM ISENMAN

 

Alors qu'on travaillait d'arrache-pied sur le problème, on s'est aperçus que le même genre d'exploit pouvait être accompli avec environ un quart de nos champions. C'est là qu'on a sérieusement commencé à paniquer.

 

   MATTHEW WITTROCK

 

À ce moment-là, on sous-estimait encore la sévérité du problème. On pensait que le bug ne concernait que certains champions aux compétences bien spécifiques. On n'avait pas encore compris que cela touchait chaque champion du jeu.

 

 

Ensuite, on s'est rendu compte que n'importe quel champion pouvait activer le même bug s'il était équipé du Tiamat ou de l'Hydre. Le problème concernait donc l'ensemble des champions.

 

 

On se disait : « oh, apparemment n'importe quel champion peut le faire. Il faut qu'on vérifie absolument tous les détails pour ne rien laisser passer. » La phase de test devait être aussi méticuleuse que possible.

 

 

Même sans l'Hydre, ça concernait une quarantaine de champions.

 

 

La sensation qu'on ressent quand on s'aperçoit qu'un bug concerne tous les champions du jeu est vraiment horrible. C'est vraiment le pire sentiment du monde. « Oh bon sang, ça affecte tous les champions. Comment va-t-on régler ça ? »

 

 

Nous avions déjà connu des bugs facilement exploitables mais qui n'apportaient aucun avantage aux joueurs. Les petits malins qui s'amusaient à le reproduire à l'infini finissaient par faire perdre leur équipe. Dans ce cas précis, en revanche, l'exploit ne présentait aucun désavantage.

 

 

Nous préférons toujours rassembler le plus de données possible avant de prendre une décision hâtive. On s'est donc demandé : « est-ce que ce bug perturbe vraiment le cours du jeu ? C'est juste un Rappel rapide, peut-être que ça n'est pas si grave que ça. » Mais ensuite, on a vu comment les joueurs pouvaient l'activer et on s'est dit : « ils peuvent pousser sans problème sur n'importe quelle voie. Ils peuvent foncer tête baissée et revenir à la base instantanément. »

 

 

 

   SCOTT HANSEN

 

On a commencé à s'interroger pour savoir comment préserver l'expérience de jeu. Cela allait au-delà de la désactivation d'un seul champion ou d'un seul objet... Il fallait songer à désactiver les files classées.

 

   TIM ISENMAN

 

Ce que nous voulons à tout prix éviter, c'est de « paralyser » le jeu en désactivant quelque chose d'aussi important, quelque chose qui représente environ un quart de l'expérience de jeu pour la plupart des joueurs. C'est sans doute l'une des pires solutions en dehors de la désactivation totale du jeu lui-même. Dans ce genre de cas, la solution la plus acceptable reste de désactiver les files classées.

 

   MATTHEW WITTROCK

 

Nous étions forcés de prendre de nombreuses décisions alors que nous ne disposions pas de données complètes, mais la situation remplissait plusieurs des critères minimums pour justifier une telle désactivation. Le bug concernait de nombreux champions, il était largement répandu et il était néfaste pour le jeu. On ne pouvait pas se contenter de simplement désactiver un champion ou un objet.

 

   KACEE GRANKE

 

À ce stade, on en était arrivé au dilemme suivant : « on ne peut pas désactiver tous les champions, alors que faire ? »

 

   TIM ISENMAN

 

On a d'abord pesé le pour et le contre. Il y avait une chance pour que tout le monde puisse exploiter le bug en parties classées, mais peut-être que seuls quelques personnes étaient au courant à ce stade. Nous pouvions donc peut-être attendre que le problème devienne largement connu de la communauté avant de désactiver les files classées. À ce stade, la plupart des joueurs pensaient que seule Riven était concernée par le bug.

 

   SCOTT HANSEN

 

Quand on a commencé à envisager de désactiver les files classées, nous en avons discuté et nous nous sommes posé plusieurs questions. « Ok, quand est-ce qu'on désactive les files classées ? Est-ce qu'on peut obtenir un correctif avant que le bug ne devienne totalement viral ? »

 

   KACEE GRANKE

 

Nous avons décidé d'attendre que le problème soit vraiment sérieux et de maintenir Riven désactivée jusqu'au moment où nous allions désactiver les parties classées pour de bon.

 

   TIM ISENMAN

 

Nous ne voulions pas partir du principe que tout le monde était au courant du bug, et surtout qu'il concernait tous les champions et pas seulement Riven.

 

   DONNA MASON

 

Par chance, comme le problème autour de Riven nous avait été signalé en premier, nous avions déjà commencé à travailler dessus.

 

 

   KACEE GRANKE

 

On s'est demandé : « comment ralentir la divulgation tout en maintenant le flux d'informations ? » On n'a aucun contrôle sur Reddit ou sur les forums. Si un tel problème vient à être largement connu, on court le risque que de nombreuses personnes l'exploitent, ce qui peut gâcher de nombreux matchs et ruiner l'expérience des joueurs, mais dans le même temps, on tient aussi à voir ce que constatent les joueurs de leur côté.

 

   TIM ISENMAN

 

On a contacté les modérateurs de Reddit pour qu'ils nous aident à rassembler les nouveaux posts concernant le bug et à les transférer vers le lien d'origine. Mais quelque part dans la chaîne de communication, il y a eu confusion sur ce que nous cherchions à faire. Nous avons été horrifiés de voir que le post d'origine était devenu un énorme lien qui donnait énormément de visibilité à chaque occurrence du bug. Chaque vidéo était publiée en plein milieu du post d'origine.

 

   DONNA MASON

 

C'est une lame à double tranchant. Le fait qu'on puisse obtenir autant d'information aussi rapidement nous aide énormément, mais la publicité que le bug reçoit au passage est très regrettable. Les gens qui n'étaient pas au courant se mettent alors à essayer de reproduire le bug.

 

   KACEE GRANKE

 

À partir de là, on s'est immédiatement dit : « il faut désactiver les files classées tout de suite. » Non seulement le lien Reddit recensait tous les champions concernés, mais il fournissait également des instructions très claires pour reproduire le bug.

 

 

   DONNA MASON

 

Ce n'est pas une solution que nous aimons employer, mais l'avantage conféré par l'exploitation de ce bug était trop élevé. Nous devions partir du principe que les joueurs allaient exploiter ce problème, en particulier dans les parties classées.

 

   KACEE GRANKE

 

Dans ce genre de cas, tout le monde ne va pas utiliser le bug à son avantage, mais si tout le monde est au courant, cela devient très néfaste pour l'expérience des joueurs.

 

   TIM ISENMAN

 

C'est l'un des problèmes les plus graves auxquels nous ayons dû faire face sur notre environnement live. Les parties classées sont l'objectif principal de très nombreux joueurs. Une fois désactivées, l'intérêt du jeu en prend un sacré coup.

 

   DONNA MASON

 

On se demande toujours quel serait notre sentiment si quelqu'un utilisait ce bug pour prendre l'avantage face à nous.

 

   MATTHEW WITTROCK

 

Nous comprenons ce que les joueurs ressentent. Personne n'apprécie que les files classées soient désactivées, mais les joueurs ne vont pas nous en vouloir de tenter notre possible pour préserver l'expérience compétitive.

 

   KACEE GRANKE

 

Si les joueurs se disent « je joue en file classée, je donne tout ce que j'ai, tout ça pour me retrouver face à des tricheurs », cela risque de leur couper l'envie de participer à des matchs compétitifs. Nous avons donc désactivé les files classées et réactivé Riven.

 

 

 

   SCOTT HANSEN

 

Deux choses se sont alors produites simultanément. On essayait de trouver le moyen de tenir les joueurs informés au mieux en communiquant avec eux dans la vingtaine de langues qu'ils parlent, et on tentait en même temps de corriger le problème.

 

   TIM ISENMAN

 

L'équipe Champions a commencé à travailler sur des modifications de script.

 

   KACEE GRANKE

 

Une fois que nous avons pris conscience de l'étendue du problème, nous avons passé pas mal de temps à essayer de comprendre ce qu'il fallait corriger. Il nous a fallu plusieurs heures pour parvenir à un début de solution.

 

   MATTHEW WITTROCK

 

Je me souviens que toutes les équipes se sont rassemblées. On a commencé par dire « ok, voilà ce qu'on sait » et « que faut-il faire ? ». Ensuite, c'était « parfait, tout le monde au boulot. » C'était assez amusant, quand j'y pense. La situation était vraiment mauvaise, mais nous avions un plan d'action et nous allions nous mettre au travail très vite.

 

   KACEE GRANKE

 

On avait sous la main quelques « pansements » qu'on a pu mettre en place presque aussitôt et qu'on était en train de tester en interne. Chaque fois qu'on pensait avoir réglé le problème, on trouvait une nouvelle brèche ou on s'apercevait que le correctif provoquait d'autres problèmes étranges en parallèle.

 

   MARK SASSENRATH

 

Le problème devenait de plus en plus sérieux au fil de la journée.

 

   DONNA MASON

 

On a compris que la situation était grave quand, après quatre tentatives de correction, on détectait encore des problèmes.

 

   KACEE GRANKE

 

Dans l'un des scénarios, nous avions corrigé le bug principal, mais si le joueur utilisait une Potion, cela annulait le Rappel alors que cela ne se produisait pas auparavant. Ce genre de changement de fonctionnalité n'est pas acceptable, parce que les joueurs ne s'y attendent pas et peuvent être surpris.

 

   MARK SASSENRATH

 

Les descriptions étape par étape dans les vidéos des joueurs nous ont beaucoup aidées. Au lieu de mettre en place trois correctifs en l'espace de plusieurs jours, nous avons pu régler le problème beaucoup plus vite. Heureusement que les joueurs avaient tout détaillé !

 

   DONNA MASON

 

C'était un problème très intéressant du point de vue des tests, parce qu'il fallait qu'on soit sûrs que les testeurs sauraient comment reproduire le bug. On lançait donc une partie personnalisée pour s'entraîner, et ensuite on tentait le coup dans la version test. Si les testeurs n'avaient pas été capables de déclencher le bug correctement, nous n'aurions pas pu nous fier aux résultats des tests.

 

   SCOTT HANSEN

 

Quand on peut clairement savoir comment une chose fonctionne et comment on s'y prend pour la déclencher, notre travail s'en trouve grandement facilité car nous pouvons aisément trouver où se situe le problème et comment le régler.

 

   TIM ISENMAN

 

Nous avons attendu d'avoir sous la main un correctif dont nous étions vraiment sûrs avant de l'envoyer aux testeurs.

 

   DONNA MASON

 

Après cinq essais, on pensait avoir trouvé la solution. On a envoyé notre correctif aux équipes QA et l'idée était de tester chaque compétence, champion et objet du jeu.

 

   KACEE GRANKE

 

À cause du temps passé à créer et déployer une version, nous savions qu'il faudrait attendre le lendemain avant de savoir si ça avait fonctionné.

 

   TIM ISENMAN

 

Quand on applique un changement à l'environnement live, on doit suivre un processus très rigoureux pour chaque modification afin de pouvoir la lancer en toute confiance. Elle doit être testée en interne et revue par d'autres Rioters, puis nous devons la soumettre à des tests intensifs auprès de nos équipes QA partout dans le monde. Ce genre de processus nécessite généralement 12 heures, minimum.

 

   SCOTT HANSEN

 

Nous avons posté un message pour dire aux joueurs « ok, d'ici 12 heures, nous vous tiendrons informés de nos progrès. » On pensait que d'ici 4 ou 5 heures du matin, on serait en mesure de savoir si le bug avait été corrigé ou non.

 

   DONNA MASON

 

Vers 10-11 heures du soir, nous avons laissé de nombreuses personnes rentrer chez elles. Et nous avons demandé à l'équipe QA de tous nous réveiller si le correctif s'avérait être un échec.

 

 

 

   TIM ISENMAN

 

Vers 2 heures du matin, nous apprenons que le correctif n'a pas fonctionné et qu'il nous faut repartir de zéro. Nous avons rappelé tout le monde pour essayer de comprendre ce qui n'allait pas avec le premier correctif, le modifier en conséquence et l'envoyer de nouveau aux testeurs.

 

   DONNA MASON

 

On a tous reçu un message. On a réveillé les ingénieurs, les designers... Tout le monde a dû se réveiller en pleine nuit. Toutes les équipes impliquées.

 

   MARK SASSENRATH

 

Vous savez que quelque chose est allé de travers quand votre téléphone sonne à 2 heures du matin. Soit on a manqué quelque chose, soit le correctif a provoqué de nouveaux problèmes.

 

   DONNA MASON

 

Ils ne nous auraient pas appelés si tout s'était bien passé. Ils n'auraient pas appelé juste pour nous dire « hé, le correctif marche parfaitement ! Comment ça va, sinon ? »

 

   TIM ISENMAN

 

En fait, j'ignore si Mark Sassenrath est même rentré chez lui à un seul moment de la journée...

 

   MARK SASSENRATH

 

Nous pensions que le problème était réglé. Nous avions déployé le correctif auprès des testeurs. Vers 3 heures du matin, on nous appelle pour nous dire que quelque chose est allé de travers. À 4 heures, j'étais de retour au bureau à travailler sur une nouvelle solution. À ce moment-là, j'étais totalement épuisé.

 

   KACEE GRANKE

 

On a reçu les résultats, et le problème persistait. On a envoyé un autre correctif et on a dû de nouveau attendre le temps qu'il soit testé.

 

   TIM ISENMAN

 

La nouvelle version du correctif a dû passer par la même phase de QA. Mais en plus d'être repartis de zéro, nous avons aussi été forcés de vérifier que chaque problème causé par le premier correctif serait réglé avec la seconde tentative. Ce qui signifiait le double de travail.

 

   DONNA MASON

 

À ce stade, on teste non seulement les nouveaux problèmes constatés, mais on doit également recommencer avec les éléments déjà testés.

 

   MARK SASSENRATH

 

On ne voulait pas compromettre l'objectif véritable du sort de Rappel. On a essayé de ne pas en faire trop avec le correctif. Quand on lance un Rappel, il est possible de réaliser tout un ensemble d'actions et on ne voulait pas désactiver l'une d'entre elles.

 

 

 

   TIM ISENMAN

 

Nous avons dû renvoyer un communiqué aux joueurs pour leur dire que la phase de test était toujours en cours. On leur a promis de les tenir au courant d'ici deux heures, ce qui nous laissait encore un peu de temps pour d'éventuels nouveaux échecs. Chaque fois qu'on demandait aux équipes QA combien de temps serait encore nécessaire pour finir leur travail, il nous précisait qu'il allait leur falloir deux heures de plus. On ne savait pas du tout combien de temps cela allait prendre.

 

   SCOTT HANSEN

 

On en a discuté et on se demandait : « qu'est-ce qu'on va pouvoir dire aux joueurs ? » On ne voulait pas donner de deadline trop lointaine simplement parce qu'on voulait éviter de trop s'avancer, mais en même temps, on ne voulait pas non plus donner leur donner de faux espoirs. En fin de compte, on s'est contentés d'un « bientôt ». Honnêtement, ce n'était pas la solution idéale.

 

   TIM ISENMAN

 

Vers 16 heures, on a appris qu'environ 80 à 90% de nos champions avaient été testés avec succès et que le problème avait été corrigé pour eux. On commençait donc à se sentir soulagés, mais c'était difficile de communiquer ce genre de nouvelle aux joueurs. Il y avait toujours un risque que le correctif ne fonctionne pas avec certains champions, ce qui nous aurait obligés à le retravailler et à le renvoyer aux testeurs pour une phase de vérification d'environ 10 heures. On a donc préféré maintenir le silence radio.

 

 

 

   TIM ISENMAN

 

Je crois que c'était vers 17 heures. On a enfin reçu la confirmation que le correctif fonctionnait à 100% et que le problème était réglé. Nous avions préparé le nouveau package pour les serveurs du jeu en prévision, afin de pouvoir le déployer sans attendre. Tout était fin prêt, nous avons donc mis en place le correctif région par région.

 

   DONNA MASON

 

Il fallait contacter les serveurs du jeu dans chaque centre de données à travers le monde, ce qui prend beaucoup de temps. Mais tout se mettait en place très vite.

 

   MATTHEW WITTROCK

 

Je crois que nous n'avons jamais travaillé aussi vite. Tout le monde était paré à agir instantanément.

 

   TIM ISENMAN

 

À la toute fin du processus, l'application du correctif pour le Vietnam prenait beaucoup de temps. On était tous devant l'écran à attendre d'avoir des nouvelles pour savoir si tout s'était bien passé. Et c'est là qu'un employé de la région nous a envoyé un message pour nous dire : « le bug est toujours là. » On a tous failli perdre la tête.

 

   MATTHEW WITTROCK

 

Voilà notre plus grande crainte. On a beau avoir testé tout ce qu'il était possible et imaginable, on attend tous ce message atroce qui nous dit : « hé, le bug est encore là ! »

 

   TIM ISENMAN

 

On lui a dit : « ferme le jeu et relance-le. » Il le fait, et on attend... On attend encore... Et finalement, il nous dit : « je n'arrive plus à le faire. Je crois que c'est corrigé. » Ça a été un moment d'intense panique pour tout le monde, parce que si le correctif ne fonctionnait pas dans l'une des régions, cela voulait dire qu'il ne fonctionnait nulle part.

 

 

 

   TIM ISENMAN

 

Nous avons attendu cinq minutes de plus pour pouvoir tester le correctif en interne et vérifier que tout fonctionnait parfaitement sur chaque serveur, puis nous avons réactivé les files classées et informé les joueurs que tout était rentré dans l'ordre. Le démon avait été terrassé.

 

   MATTHEW WITTROCK

 

À ce moment-là, il était trop tard pour s'inquiéter. Si quelque chose ne fonctionnait pas, on en entendrait parler d'ici quelques heures. Il fallait qu'on passe à autre chose. Le spectacle devait continuer.

 

   DONNA MASON

 

Moi j'ai dit, « je vais me faire quelques parties classées. » Nous jouons tous au jeu, c'est pour ça qu'on ressentait tous la même chose : « Dieu merci, tout fonctionne de nouveau correctement. »

 

   KACEE GRANKE

 

Et on s'est remis au travail.

 

   MARK SASSENRATH

 

On ne peut pas se reposer sur nos lauriers. Il reste toujours énormément de travail à faire.