Messagerie restreinte, suspensions de compte, file basse priorité, suspensions de compte préventives, suspension de compte définitive... L'éventail de sanctions de League of Legends est aujourd'hui assez large, et encadre tout un tas d'infractions ou de situations plus ou moins graves. Il y a environ 3 ans, Riot signalait cependant que les sanctions ne concernaient qu'une minorité de joueurs,
à savoir 2%. Reste que le fonctionnement des systèmes est toujours aussi méconnu des joueurs, même après tant d'années ici ou sur les forums à donner des explications de mon côté.
Il faut dire que Riot a perdu une icône dans l'équipe en charge du comportement des joueurs et du développement des systèmes de sanctions, à savoir
Jeffrey "Lyte" Lin, que je pourrais qualifier de Zz'Rot de Riot, car il avait certainement le même problème que cet objet
tant controversé. Ceux qui appréciaient son travail, sa communication, et ce qu'il faisaient l'appréciaient vraiment, et ceux qui n'appréciaient pas ces éléments le détestaient véritablement. On peut certainement lui reprocher pleins de choses, toujours est-il que c'est indiscutablement lui qui a donné le plus d'informations sur le fonctionnement des systèmes de sanctions, et sur la manière de les élaborer. Il avait fait de
très belles interventions lors des Game Developper Conference (GDC), communiquait beaucoup
sur les forums,
sur Reddit,
et même ailleurs (Il a supprimé ses comptes Reddit et Ask par contre), n'hésitant pas à proposer
des expérimentations aux joueurs, et donnait beaucoup d'informations utiles sur les systèmes de sanctions. Nous lui avions même adressé une BD à l'occasion de la sortie de la messagerie restreinte (Et il avait apprécié l'humour !). Mais voilà, il a quitté Riot
en mai 2016, et les joueurs lui ont attribué l'échec de la file dynamique, même s'il n'a pas été le principal acteur du sujet, et que son évolution s'est même faite alors qu'il avait
déjà pris une pause vis-à-vis de Riot. Chez LoLTracker en tout cas, cela reste une personne qui nous a beaucoup aidé à avoir de l'actualité à publier.
La BD publiée à l'occasion de la sortie de la messagerie restreinte. Merci HolyElfGirl !
Aujourd'hui, on retrouve un autre Rioter qui communique sur ces systèmes de sanctions. Il s'agit de Tantram,
l'architecte des systèmes de sanctions. Ses posts ont été d'une grande utilité dans l'élaboration de certains scénarios de test de cette étude, et il a donné quelques informations utiles sur le fonctionnement des systèmes de sanctions "modernes". Modernes, car depuis la sortie de la messagerie restreinte, les choses ont bien évolué. Ce sera d'ailleurs le premier chapitre de ce dossier. Un point sur la situation des systèmes de sanctions ne sera pas de trop avant d'aborder les expérimentations qui ont été menées, et de pouvoir expliquer la manière dont elles ont été menées, et pourquoi elles ont été menées.
Avant de commencer, et pour ceux qui découvriraient le site, ou me découvriraient moi, je pense que me présenter un minimum peut s'avérer utile. Je suis Philidia, fondateur de
LoLTracker en mai 2012, membre du programme bénévole de Riot
depuis février 2012, et auteur de deux autres études sur les systèmes de sanctions (Voir ici :
Étude à l'époque du tribunal, et
étude à la sortie de la messagerie restreinte), dont l'une a permis de mettre en évidence des failles permettant d'avoir un comportement négatif sans se faire sanctionner (Celle sur le tribunal), et a suffisamment intéressé Riot au point de me questionner sur le sujet lors d'entretiens dans leurs bureaux de Dublin (Entretiens faisant initialement suite à candidature au poste de community manager. Si vous voulez en savoir plus sur le sujet, j'ai aussi fait
un dossier sur ça). À cette occasion, j'ai pu parler avec
Antonio De Gea Garcia, le lead Européen de l'équipe Player Behavior de l'époque, et de lui exposer mes idées. Dans la vie, je suis consultant dans une entreprise spécialisée dans le test logiciel, l'assurance qualité, et la cybersécurité, et mon travail au quotidien et de m'assurer que les systèmes des clients chez lesquels je suis envoyé fonctionnent bien, en y cherchant des bugs, des failles, etc... Cela ne me donne pas forcément une quelconque crédibilité pour cette étude, mais ça explique au moins partiellement pourquoi ça m'amuse d'en faire...
Cette présentation faite, entrons dans le vif du sujet. Avant d'en arriver aux expérimentations et à leurs résultats cependant, il va falloir patienter encore un peu. Avant ça, je vais vous présenter les deux expérimentations précédentes que j'ai menées et leurs résultats, qui vous donneront un peu de contexte sur le pourquoi j'en ai fait une troisième, et je vous parlerai ensuite de ce qu'on sait aujourd'hui des systèmes de sanctions, dans la théorie, et avec ce que Riot a pu communiquer comme informations. Les expérimentations et leurs résultats suivront derrière.
Les études précédentes
Le 24 février 2014, sortait
ma première étude sur le système de sanction en place. À l'époque, il s'agissait encore du tribunal. Si vous ne l'avez pas connu, il s'agissait d'un système où les joueurs participaient au jugement de ceux qui se faisaient signaler. Pour décrire grossièrement le système, si jamais vous vous faisiez beaucoup signaler, votre cas atterrissait au tribunal, avec le chat complet d'une ou plusieurs parties. C'était alors aux joueurs qui participaient au tribunal de juger si votre cas était condamnable ou non. Et s'il l'était, une sanction vous était appliquée. Le système avait des mécaniques de protection, comme le fait que les joueurs sanctionnés ne pouvaient pas participer aux jugements, qu'il y avait un assez grand nombre de reports à atteindre pour se faire sanctionner, et que ces derniers fonctionnaient avec une sorte de "valeur", qui déterminait si oui ou non vos signalements étaient valides, et le poids qu'ils avaient dans le fait de propulser un cas au tribunal. Il y en avait d'autres, mais le système ayant disparu depuis longtemps, je ne m'attarderai pas dessus. Intéressons-nous plutôt aux failles.
Un exemple de dossier issu du tribunal
Parce que si la plus grosse problématique du tribunal était
sa lenteur pour juger les gens (Plusieurs mois sur la fin de vie du système), ma première étude avait permis de mettre à jour un gros défaut, à savoir l'absence des chats pre-game et post-game. J'avais ainsi pu montrer une certaine toxicité sur le chat post-game, et mon cas avait fini au tribunal. Mais j'ai été acquitté par les joueurs. Un cas qui a d'ailleurs donné lieu à
pas mal de débats, car les commentaires des reports signalaient presque tous que les propos offensants avaient été tenus dans le chat post-game. Mais en l'absence de ce dernier dans le tribunal, les joueurs ont préféré acquitter, faute de preuve tangible.
Ces défauts et d'autres ont conduit à
l'arrêt du tribunal, et à la mise en place d'un système de messagerie restreinte, basé sur un machine learning, à savoir une intelligence artificielle qui apprend au fur et à mesure des données qu'on lui transmet. Par exemple, à sa sortie, le mot "rekt" n'était pas encore utilisé dans le jeu. Mais elle a vite compris qu'il s'agissait d'un mot utilisé à des fins négatives.
Ce système de messagerie restreinte a lui aussi conduit à
une étude de ma part. Mais les expérimentations que j'y ai menées ne m'ont pas permis de passer à travers les mailles du filet. C'était plutôt une bonne nouvelle à l'époque, bien qu'une déception pour moi. Mais l'expérimentation avait montré que les problématiques du post-chat étaient résolues, et que le soft flaming était pris en compte. Du côté d'une potentielle condamnation à tort, l'expérimentation a démontré que des propos vulgaires/toxiques utilisés dans un contexte autre que négatif ne donnaient pas lieu à des sanctions, et que parler français ne donnait pas lieu non plus à des sanctions.
Pendant l'expérimentation, j'avais également essayé de m'insulter moi-même. Il s'agissait d'une situation un peu particulière, et détachée d'un comportement "normal". Toujours est-il que ça ne m'avait pas valu de sanction, bien que j'avais de nombreuses alertes dans le client m'informant que j'avais été signalé et que mon comportement n'était pas fantastique (Il s'agissait d'une popup sur le client qui a aujourd'hui disparu). Mais une personne a finalement réussi à se faire sanctionner via cette méthode
par la suite, en utilisant des propos plus violents que les miens. On pourrait penser que c'était à tort, mais on peut aussi légitimement se demander si à force de s'insulter soi-même, et même si les dites insultes ne sont pas destinées à une autre personne, une telle toxicité affichée aux yeux de ses alliés n'est pas pénible, et ne vaut pas sanction, puisque par les reports à l'encontre de la personne, les joueurs ont bien démontré qu'ils n'appréciaient pas ça. Toujours est-il que Riot avait levé la sanction à l'époque, et que ce scénario montrait bien la complexité pour réussir à se faire condamner à tort.
La popup qui s'affichait à l'époque, vous prévenant que vous aviez été récemment signalé
Si vous voulez en savoir plus, je vous invite à lire les dossiers que j'ai mentionnés. Ils sont longs, mais ils en valent la peine, même s'ils sont obsolètes aujourd'hui. Ils sont une bonne base pour comprendre l'évolution des systèmes de sanction jusqu'à aujourd'hui.
Où en est-on aujourd'hui ?
Maintenant que nous avons vu rapidement les travaux de mes précédentes études, et la manière dont les anciens systèmes fonctionnaient, il est temps de s'attaquer aux systèmes actuels. Mais comment fonctionnent-ils au juste ? Eh bien, cette partie peut vous servir de référence pour tout ce qui va suivre, pour les fois où vous vous posez des questions sur le système, pour donner des liens officiels à vos amis, etc... Je remettrai les sources que j'utilise au fil de l'article, ne vous inquiétez pas.
Notez que je ne suis pas remonté plus loin que 12 mois pour les posts sur le système actuel. Au-delà, je considère que les infos sont "assez" obsolètes.
Tribunal
[Lien] Le tribunal est un système qui a bien fonctionné, et qui a été la cible de nombreuses analyses universitaires et d'institutions académiques pour leurs thèses, donnant lieu à chaque fois à de bons résultats.
[Lien] La très large majorité des cas du tribunal étaient suffisamment sévères pour être presque tout le temps des cas donnant lieu à une punition, ce qui biaisait les votes, et focalisait le système sur les sanctions
[Lien] Riot souhaitait sortir une nouvelle version du tribunal, où il aurait été possible d'effectuer la revue de cas neutres et positifs, en plus des cas négatifs.
[Lien] L'un des plus gros défauts du tribunal, si ce n'était le plus gros, était sa lenteur. Il fallait des jours, voire des semaines pour qu'un joueur voit son comportement sanctionné, et même avec les logs de chat, les joueurs ne se rappelaient plus forcément du comportement qui leur était montré dans les logs. Ce problème venait de la technologie utilisée pour le cœur du système.
[Lien] Beaucoup de joueurs l'ignorent, mais le tribunal n'a jamais existé sur certains serveurs car il n'était pas capable de prendre en charge certaines langues.
[Lien] Tantram explique que le tribunal ne permettait pas (Et ne permettrait pas aujourd'hui) de sanctionner plus de trolls, du fait de sa lenteur.
Système actuel (IFS : Instant Feedback System) - Architecture
[Lien] Tantram explique que l'IFS est composé de plusieurs services qui évaluent chacun différent domaines, allant du feeding volontaire, au harcèlement verbal, en passant par l'afk, etc... Et s'il y avait besoin d'un service supplémentaire pour analyser un nouveau type de comportement, il suffirait de greffer un nouveau service au système.
[Lien] [Lien] Un des services qui analyse les parties est une sorte de "tolérance zéro" vis-à-vis de certains mots. C'est le module le plus "naïf" du système, dans la mesure où il ne cherche que les choses qui ne devraient jamais arriver en jeu. Un peu comme une sorte de première vérification, pour détecter les comportements les plus toxiques, et les plus évidents. Les sanctions prises par ce module sont toujours un ban de 14j, ou un permaban, en fonction de la gravité du cas.
[Lien] Si vous êtes très toxiques, mais que personne ne vous signale, le système n'analysera pas la partie lui-même. Il faut absolument qu'au moins un joueur vous signale.
[Lien] Tantram explique que le système change continuellement.
[Lien] Les statistiques de faux positifs tiennent compte à la fois des sanctions trop faibles et des sanctions trop dures. Pour chaque pénalité, il y a moins de 0.01% de chances que la pénalité soit inappropriée. Concrètement, le joueur peut recevoir une restriction de messagerie au lieu d'un ban, ou un ban au lieu d'une restriction de messagerie.
[Lien] [Lien] [Lien] [Lien] [Lien] Plusieurs signalements ne font rien de plus qu'un seul signalement sur un joueur à la fin d'une partie. 4/9 signalements ont la même valeur qu'un seul, l'analyse de la partie étant déclenchée juste avec un seul signalement. En clair, le signalement est un booléen qui est positionné à "Oui" si un joueur effectue un signalement. Rien de plus ne se produit si d'autres joueurs le signalent.
[Lien] Le système dispose d'une certaine tolérance envers la toxicité, pour tenir compte du fait qu'il arrive à tout le monde s'énerver. Cette tolérance n'existe cependant pas pour les joueurs qui sont toxiques à répétition, ou qui sont très toxiques, au point d'avoir une lourde sanction immédiatement.
[Lien] Le système analyse le chat, et pas les signalements. L'ancien système utilisait le nombre de signalements, l'actuel ne le fait pas pour déclencher l'analyse d'une partie. C'est de là que vient le 1 report = 9 reports
[Lien] Pour s'assurer que le système fonctionne correctement,Riot vérifie manuellement des échantillons aléatoires de cas, afin d'identifier des faux positifs. Ils restent rares, mais ils existent, et ces procédures visent à s'assurer qu'ils ne se reproduiront pas.
[Lien] Les restrictions de messagerie sont soit de 10 parties, soit de 25 parties. Ces chiffres ont été choisis après analyse de données de Riot lors des premières versions de ces restrictions, où elles pouvaient s'accumuler à l'infini. Mais après un certains nombre de parties restreintes, le système n'aidait plus les joueurs à s'améliorer, et ceux qui accumulaient le nombre de parties restreintes se dirigeaient vers un autre type de toxicité, à savoir le feeding et le troll. Pour ces joueurs donc, l'escalade va jusqu'au ban de 14j et au permaban.
[Lien] [Lien] L'architecte de l'IFS est Tantram. Il travaille sur les systèmes relatif au comportement des joueurs depuis 2011.
LeaverBuster
[Lien] Un joueur qui quitte des parties/afk se fait sanctionner par le LeaverBuster. Si toutefois cela arrive vraiment trop fréquemment, ils peuvent recevoir des pénalités supplémentaires.
[Lien] [Lien] Il n'existe pas de moyen de différencier une déconnexion accidentelle d'un leave volontaire. C'est pour cela que les sanctions du LeaverBuster sont les mêmes quelle que soit la situation. Et il est toujours possible de simuler une déconnexion accidentelle en débranchant simplement un câble de sa box.
Sanctions
[Lien] Il y a actuellement deux types de notifications dans le système affichant des popups indiquant qu'un report que vous avez fait a mené à une sanction. Une qui signale que le joueur que vous venez JUSTE de signaler a été sanctionné, et une autre signalant qu'un joueur que vous avez précédemment signalé a été sanctionné. Il y a cependant un délai pendant lequel une notification pourra s'afficher, pour s'assurer que le retour du système fait appel à votre mémoire récente. Si vous vous déconnectez longtemps par exemple, en revenant, même si vous avez signalé et fait condamner un joueur, le système ne vous affichera pas de notification.
[Lien] Les notifications signalant qu'un joueur que vous avez signalé a été sanctionné ne vous sont envoyées que si vous étiez dans une des parties affichées dans les logs de chat du joueur sanctionné
[Lien] Après un ban de 14j, même un comportement qui ne vaudrait pour une première sanction qu'une restriction de messagerie peut donner lieu à un permaban. On appelle cela l'escalade.
[Lien] Les permabans sont donnés aux joueurs que Riot ne veut plus voir sur le jeu, parce qu'ils agressent la communauté. Riot ne souhaite pas qu'ils créent de nouveaux comptes, mais il n'y a aucun moyen de les empêcher de le faire.
[Lien] [Lien] La large majorité des joueurs qui reçoit une restriction de messagerie, n'en reçoit pas d'autre par la suite. Parmi ceux qui reçoivent une deuxième restriction, rares sont ceux à avoir un ban ensuite. Et parmi ceux qui reçoivent un ban, en subissent rarement un autre. Et pour ceux qui malgré tout continuent, les données de Riot indiquent qu'ils ne changeront pas leur comportement, donc ils finissent permabannis.
[Lien] Les joueurs peuvent toujours ouvrir un ticket au support s'ils ont le sentiment que leur sanction n'est pas méritée.
[Lien] [Lien] La plus petite pénalité existante est la restriction de messagerie pour 10 parties. Mais ce n'est pas forcément la première appliquée.
[Lien] Une sanction qui aurait fait baisser le niveau d'honneur du joueur juste avant une réinitialisation de ce dernier aura pour effet que l'honneur ne sera pas réinitialisé à un niveau plus élevé
[Lien] Les "ID Ban" sont des bans très ciblés, généralement envers des joueurs connus, que Riot ne souhaite pas revoir sur le jeu. L'ID Ban signifie que le joueur est permabanni sur son compte, et que dès que Riot a connaissance du fait qu'il a créé un nouveau compte, il sera également permabanni, peu importe les circonstances. Tyler1 est l'exemple le plus connu de ce genre de ban. Notez bien qu'un ID Ban levé n'enlève pas le permaban de tous les comptes qui en ont reçu un jusqu'à présent pour ce joueur. Cela l'autorise juste à créer un compte, sans être banni à vue.
[Lien] Une sanction qui fait suite à une prise d'otages de la partie (Joueur qui vous demanderait de prononcer des phrases susceptibles de vous valoir un ban sous peine de ruiner votre partie) sera levée sans problème. Le joueur ayant pris la partie en otage cependant, risque le permaban.
[Lien] Il n'y a pas d'email envoyé au joueur en cas de sanction. Les logs de chats, s'il y en a, sont affichés directement dans le client à la connexion du joueur sur son compte.
[Lien] [Lien] Avec le temps (De jeu), il est possible de ramener son compte dans une meilleure situation, après une sanction. Ainsi, jouer pendant longtemps sans se faire condamner après une sanction de 14j fait que si une nouvelle sanction tombe après cette longue période, elle n'entraînera pas forcément un permaban. Elle peut déclencher une restriction de messagerie. Cette durée est de 3 mois, en moyenne (Pour un ban de 14j).
[Lien] Les permabans des comptes qui les reçoivent dans le cas d'une prévention suite à une activité suspecte sur le compte sont appelé des "Shield bans".
[Lien] [Lien] Dépenser de l'argent dans le jeu ne donne aucun avantage ou traitement de faveur vis-à-vis d'une sanction.
[Lien] En général, une sanction pour utilisation de script arrive lorsqu'un joueur paye pour de l'eloboosting. Presque tous les eloboosters utilisent des scripts.
[Lien] Le "Easy" et toutes ses variantes (gg ez, gg easy, etc...) est un motif de signalement, est une attitude négative, et peut contribuer à une sanction.
Divers
[Lien] Riot est contre le principe de l'île aux prisonniers, qui ferait en sorte que le matchmaking place les joueurs toxiques entre eux, dans une file à part.
[Lien] Muter les autres joueurs dans un jeu compétitif ou le travail d'équipe est le plus gros contributeur à la victoire, n'est pas une bonne idée.
[Lien] [Lien] Le filtre de langage n'est pas utilisé par le système IFS.
[Lien] La majorité des joueurs ne sont pas toxiques, pas même une minorité. Le problème de cette perception est qu'il y a 10 joueurs chaque partie, donc un joueur pénible impacte 9 autres personnes. S'ajoute à cela le biais de négativité.
[Lien] [Lien] Les reports injustifiés n'ont aucune conséquence sur votre niveau d'honneur. En revanche, les reports valides, qui ne sont pas suffisants pour déclencher une sanction, affectent la progression du joueur à travers le système d'honneur. C'est souvent ce qui crée l'impression que les joueurs au niveau 0 d'honneur mettent un temps fou à remonter.
[Lien] Jouer "En dehors de la meta" ne mène pas à des sanctions.
Liens exemples - Pas d'explication précise du fonctionnement du système, mais des exemples de cas intéressants
[Lien] Syndrôme de la partie dont on ne se rappelle pas bien
[Lien] [Lien] Éditer ses logs de chats ne changera pas la sanction, et démontre juste que la personne qui le fait sait parfaitement que sa sanction est méritée.
[Lien] [Lien] Riot peut parfaitement voir le chat pre/post-game.
[Lien] Riot voit également un joueur qui feed volontairement.
[Lien] Être négatif continuellement, même de manière soft, peut amener jusqu'au permaban. Il n'est pas nécessaire d'être très toxique (Principe de l'escalade des sanctions).
[Lien] Scripting & perception. Quand les scripters n'en sont pas.
Hors Riot - N'utilisez pas ces liens comme références !
[Lien] Analyse du cas du tribunal controversé de ma 1ère expérimentation, avec des insultes en chat post-game, non-visibles depuis le tribunal
Expérimentations : Avant de commencer
Dernière section avant de démarrer les résultats et analyses des expérimentations. Je me dois de vous donner quelques informations importantes sur ce dossier et sur les expérimentations :
- Riot n'a ni soutenu, ni encouragé aucune de mes études jusqu'à présent, et n'a pas soutenu ou encouragé celle-ci non plus. Elle a été menée du début à la fin sans aide de leur part. Vous vous doutez bien que Riot, bien qu'intéressé par les résultats que j'ai obtenu, n'encouragera jamais un joueur à agir comme je le fais. Ils ont suffisamment d'outils internes et bien plus de données que j'en ai pour effectuer des analyses plus profondes que ce que je fais. Mais mes expérimentations peuvent leur donner des pistes inexplorées, et surtout, elles sont une bonne source d'informations pour vous, dans la mesure où Riot ne communique pas énormément sur le sujet.
- Bien qu'étant bénévole pour Riot Games, je ne suis pas affilié à eux d'une quelconque manière. Riot n'a pas effectué de relecture, influé sur le dossier, l'expérimentation, etc... LoLTracker et moi-même restons indépendants d'eux, et ceux qui viennent régulièrement ici savent qu'on n'hésite pas à les défendre quand ils font des trucs bien, mais qu'on hésite pas non plus à les tacler quand ils font des trucs moins bien.
- L'intégralité des parties vous sont montrées dans l'expérience, avec un lien vers le site officiel de Riot pour vous montrer tous les détails (Il n'y a pas le chat, évidemment, mais vous pourrez croiser les données que j'ai obtenues avec les parties si vous le souhaitez). Inutile de chercher l'historique des parties de "Philidia", vous ne trouverez aucune partie ayant servie à l'expérimentation dedans. Je n'ai pas utilisé ce compte pour des raisons évidentes, et j'ai pris à la place mes propres smurfs, dont vous trouverez les pseudos dans les divers scénarios de test, via les historiques des parties que j'ai mis.
- Tous les paramètres des tests que j'ai menés vous sont dévoilés avec autant de détails et d'exemples possibles. Un maximum de données et d'exemples pour un maximum de transparence. Si vous avez des questions supplémentaires (Sur l'expérimentation, bien sûr...), n'hésitez surtout pas à les poser dans les commentaires, et j'y répondrai.
- Dans le cas où une expérimentation censée me faire passer à travers les mailles du filet aurait échoué et aurait donné lieu à une sanction sur mon compte, gardez bien à l'esprit que Riot n'a pas levé la sanction, et ne m'octroie pas un passe-droit sur le sujet. Je dois purger ma peine, comme tout le monde. Notez également que si une expérimentation censée me faire passer à travers les mailles du filet fonctionne, et que je transmet les données à Riot Games, mon compte finira malgré tout avec la sanction appropriée, appliquée manuellement. Et je ne juge pas ça anormal, bien au contraire, ça fait partie du jeu pour moi.
Les expérimentations
Maintenant que nous avons vu le contexte, et vu la théorie du système, il est temps d'expérimenter la pratique, et de voir si cette IA va résister à mes scénarios !
Scénario #1 - Condamnation à tort : Les banwords dans un contexte positif
La première expérimentation que j'ai menée visait à me faire condamner à tort, en utilisant ce qu'on appelle les "banwords". Ces mots tels que "kys" ou "get cancer", qui sont inacceptables dans le jeu, et qui vous vaudront la plupart du temps une suspension de compte de 15j si vous les utilisez pour insulter des joueurs.
Pour me faire sanctionner à tort donc, il faut que je trouve un moyen d'utiliser ces mots (Et j'ai conservé les deux exemples donnés, mais il y en a d'autres que j'aurais pu utiliser) dans un contexte qui ne mériterait pas une sanction. Voici donc les variantes que j'ai utilisées qui me paraissaient plausibles dans le cadre de ce qu'un joueur pourrait réellement utiliser. Car pour être sanctionné à tort, pas question d'utiliser une méthode impliquant de demander aux autres de me signaler, ou nécessitant des choses aussi exotiques que de s'insulter soi-même.
En partant de ces éléments, voici les variantes de mon scénario :
- Variante 1 : Évoquer une partie précédente, où un joueur allié/ennemi aurait dit "get cancer and die" et/ou "kys". Le joueur se sent affecté par ça, et en parle sur le chan, dans le cas où des problèmes surgissent, ou s'il reçoit des remarques négatives.
- Variante 2 : Demander à un joueur d’en ignorer un autre parce que c’est le genre de personne à utiliser les termes “kys” ou “get cancer”
- Variante 3 : Demander à un joueur de se calmer, en lui demandant de ne pas aller plus loin et de ne pas utiliser ce genre d’expression que sont “kys” et “get cancer”
- Variante 4 (Après la 25ème partie) : Dire à un joueur qui s’énerverait qu’il n’est pas le genre à aller trop loin dans les insultes comme get cancer / kys et qu’il peut parfaitement se calmer.
Ainsi que les paramètres du test à connaître :
- En dehors des interventions nécessaires à mes scénarios, je ne prévois pas de dire grand-chose, sauf pour répondre aux autres joueurs, mais toutes mes phrases resteront "neutre", dans le sens où aucune d'elle ne doivent pouvoir être justification de sanction, en plus de celles prononcées pour mon scénario. Utilisation des pings normale pour la communication, et dialogue sur le chat pre-game si nécessaire.
- Dans le cas où il n'y aurait pas de situation où l'une des variantes pourrait être appliquée (Chat silencieux, pas assez de toxicité, etc...), je joue la partie normalement, avec les mêmes critères.
- Les parties se sont toutes déroulées en file classée (Dans le palier argent)
- En plus d'appliquer (Ou non si la partie ne le permet pas) mes variantes, je note l'ambiance de la partie.
- Ambiance très négative : Signifie que ça s'enflamme beaucoup dans le chat, que les insultes sont nombreuses, et que ça ne se limite pas simplement à être négatif.
- Ambiance négative : Signifie que l'ambiance dans le chat n'est pas bonne. Les critiques sont là, certains ont une attitude négative, mais dans beaucoup de cas, ça ne vaudrait probablement pas sanction, sauf si répétition du comportement.
- Ambiance neutre : Signifie que les discussions sont principalement orientées sur le jeu, et sur les actions à faire. Des choses comme "Baron now"/"Inc bot"/"ss mid"/"push"/etc...
- Ambiance positive : Les choses se passent bien dans le chat, il y a des encouragements, des blagues, etc...
- Ambiance silencieuse : La notion de silence est exactement celle du mot. Si je précise que c'était une ambiance silencieuse, c'est que rien n'a été dit de la partie. Si c'est un silence quasi-intégral, c'est qu'il y a dû y avoir 5 phrases maximum prononcées dans la partie.
- Pseudo d'invocateur du compte utilisé : Thronia
Histoire d'illustrer un peu les ambiances, voilà quelques exemples :
Règle des screenshots : Pas de pseudos visibles, en dehors de celui du compte que j'ai utilisé moi-même (Pour plus de clarté). Après, je sais que si vous allez chercher les liens dans les docs, vous trouverez des pseudos, mais vu que ça demande de faire la corrélation entre tous les champions de la partie et ce qui est visible sur le chat... Il y a des choses plus passionnantes à faire.
Ça, c'est un exemple d'ambiance négative
Ça, c'est un exemple d'ambiance TRÈS négative
Il ne restait plus qu'à tester, et voir si je pouvais effectivement me faire sanctionner !
Voici les parties qui ont été jouées :
Légende : Numéro de la partie (Win/Loose/Remake) : Variante appliquée. Description de l’ambiance de la partie.
- G1 (W) : Pas de situation où le scénario peut être appliqué. Silence quasi-intégral.
- G2 (L) : Pas de situation où le scénario peut être appliqué. 1 leaver. Ambiance négative.
- G3 (W) : Pas de situation où le scénario peut être appliqué. Silence quasi-intégral.
- G4 (L) : Pas de situation où le scénario peut être appliqué. Silence quasi-intégral.
- G5 (W) : Pas de situation où le scénario peut être appliqué. Ambiance négative.
- G6 (L) : Variante 2 appliqué. Ambiance négative.
- G7 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G8 (L) : Variante 3 appliquée. Ambiance négative.
- G9 (Remake) : Remake. Teemo troll & leaver (N’a pas eu son poste en sélection des champions).
- G10 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G11 (L) : Pas de situation où le scénario peut être appliqué. Ambiance négative.
- G12 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G13 (L) : Variante 3 appliquée. Ambiance très négative. Jungler sans smite.
- G14 (L) : Pas de situation où le scénario peut être appliqué. Ambiance très négative
- G15 (L) : Variante 3 appliquée (Post chat). Ambiance très négative.
- G16 (W) : Pas de situation où le scénario peut être appliqué. Ambiance négative.
- G17 (W) : Pas de situation où le scénario peut être appliqué. Ambiance silencieuse.
- G18 (W) : Pas de situation où le scénario peut être appliqué. Ambiance silencieuse.
- G19 (Remake) : Remake. Bard leaver en face.
- G20 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G21 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G22 (L) : Variante 3 appliquée. Ambiance neutre.
- G23 (W) : Pas de situation où le scénario peut être appliqué. Ambiance neutre.
- G24 (W) : Pas de situation où le scénario peut être appliqué. Ambiance neutre
- G25 (W) : Variante 2 appliquée. Ambiance négative.
Post G25 : Après analyse des différentes variantes et de leur impact en jeu, la variante 2 s’avère être génératrice d’un peu de toxicité, ou à défaut un facteur envenimant la situation. Par conséquent, l’expérimentation se poursuit sans cette variante pour un résultat optimal. Elle est remplacée par la variante 4, jouant sur un aspect positif du joueur. En lui expliquant que ce n’est pas une mauvaise personne pouvant dire des insultes graves comme “get cancer” ou “kys”, l’expérimentation joue sur un aspect positif.
Un exemple de la variante 2.
- G26 (L) : Pas de situation où le scénario peut être appliqué. Ambiance négative.
- G27 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G28 (W) : Pas de situation où le scénario peut être appliqué. Silence intégral.
- G29 (W) : Pas de situation où le scénario peut être appliqué. Ambiance positive.
- G30 (L) : Variante 4 appliquée. Ambiance très négative.
- G31 (W - Partie déclencheuse de la sanction - 15j) : Variante 3 appliquée. Ambiance particulière.
Chat post-game de la partie. Celui qui dit "go kys" est le joueur dont on va parler dans les détails de l'histoire, et probablement celui qui a déclenché la sanction, vu qu'il a dit avoir signalé toute notre équipe.
Juste après la fin de la partie, le client me signale ma sanction
Résultats de l'expérience :
La 31ème partie fut la bonne. Détaillons un peu la situation. Dès le chat pre-game, l'ambiance est mauvaise. Le last pick et midlaner de notre équipe, souhaite prendre Swain, et demande à le first pick aux alliés. Personne ne lui répond, à part moi, qui indique que je n'ai pas le champion (C'est un compte smurf, rien de surprenant à ce que je n'ai pas débloqué tous les champions). Rien d'anormal jusque-là. Mais tout bascule lorsque le dernier pick adverse prend Swain, juste avant que notre midlaner ne puisse le prendre. Ce dernier se met alors à insulter notre équipe, en utilisant notamment le fameux "kys", prend Cassiopeia, et annonce d'office qu'il va troller la partie.
Une fois arrivé en jeu, il indique qu'il va rester sous sa tour et ne rien faire, à part bouger. C'est à ce moment que se situe ma première intervention, citant le fait qu'il ait dit "kys" dans la sélection des champions, et mentionnant le fait qu'il refuse désormais de participer. Utilisant toujours la citation, je rajoute le "get cancer" en décrivant ce que pourrait être la prochaine étape, et en essayant de le remotiver, la partie n'ayant même pas encore commencé, et l'ambiance étant déjà très mauvaise. Suite à cela, il applique effectivement ce qu'il avait dit vouloir faire, ce qui explique son nombre de sbires tués faible, et sa participation inexistante. Une fois la partie terminée, notre midlaner, qui est toujours sur les nerfs, précise qu'il a signalé toute l'équipe. Jusqu'à présent, je n'avais eu personne me signalant expressément m'avoir signalé. Et 1-2 minutes plus tard, une popup me signale ma sanction.
Voilà les logs de la partie...
N'ayant rien dit sur les quelques précédentes parties comme le prévoient mes tests pour être certain qu'aucun autre propos ne pourrait interférer dans l'expérience, j'ai l'assurance que c'est bien cette partie, et le fait d'utiliser ces banwords qui a déclenché la sanction. D'autant qu'il n'y a que cette partie de présentée pour justifier la sanction.
Ne reste plus qu'à asséner le dernier coup. Pour pousser le scénario jusqu'au bout, et agir comme un joueur devrait le faire, je contacte le support en demandant des explications sur ma sanction. Sanction qui sera levée quelques heures plus tard, celle-ci étant évidemment injustifiée. Ce qui achève de démontrer que mon expérimentation est réussie, et que l'IA n'a pas pu comprendre le contexte de l'utilisation de ces mots. Notez que les interlocuteurs du support n'avaient pas connaissance de cette expérimentation, ni de ce compte.
Suite à cela, j'ai pris contact plus directement avec Riot, afin de leur montrer le cas en question, la requête au support, et décrire ce que j'ai fait. Je peux confirmer que mon cas a bien été transmis à l'équipe en charge du comportement pour que le système soit amélioré par la suite. Une bonne chose ! Mais cela ne changera pas le résultat que j'ai obtenu.
Pour aller plus loin...
Alors, pourquoi ? Comment est-il possible qu'une IA qui a pourtant déjà montré qu'elle pouvait comprendre le contexte de certaines situations lors de ma 2ème étude s'est montrée défaillante cette fois, et a asséné une condamnation, lourde qui plus est, à tort ? Eh bien, je pense qu'on peut donner quelques pistes vis-à-vis de ça :
- Un cas très rare : Contrairement à ma deuxième étude, les termes utilisés sont utilisés de manière bien plus rare. Or, une IA avec du machine learning apprend mieux avec beaucoup de données. Et vous vous doutez bien que dans le cas où une personne en signale une autre avec ce genre de mots qui sont des "banwords", elle ne doit avoir que très très peu de cas où ces mots sont utilisés autrement que pour insulter quelqu'un.
- Un module "primitif" : Tantram en parlait lui-même, le module qui gère les banwords est certainement le plus "naïf" de tous, et donc potentiellement le plus simple à tromper. Tantram a d'ailleurs déjà expliqué que ce système de tolérance zéro est séparé du système de machine learning. Et cela nous ramène au premier point. Comme il s'agit de banwords, devant déclencher une sanction immédiate, Riot fait fi avec ce module du contexte dans lequel les mots sont utilisés, tant les cas où ils sont utilisés de manière positive doivent être rares.
- 1 report = 9 report : Depuis l'arrêt du système de réputation/poids de reports selon le fait qu'ils étaient justifiés ou non dans le passé, et depuis qu'un report déclenche l'analyse par le système de sanction (D'où le 1 report = 9 reports), Riot a éliminé une barrière que certains critiquent souvent, mais qui aurait pourtant rendu ce résultat impossible, à savoir l'effet de masse. Avant, et même pour ces phrases graves, il fallait un nombre conséquent de reports pour être sanctionné. En imaginant simplement qu'il en ait fallu plus d'un pour que la sanction soit arrêtée, et s'assurer que ce n'est pas simplement un report "par rage", je n'aurais jamais pu réussir à provoquer la sanction. Et dans la mesure où le joueur a signalé tout le monde, sans aucune raison, le poids de ses signalements aurait certainement été réduit, et aurait eu encore moins de chances de déclencher une analyse après son report.
Le problème du dernier point, qui est à mes yeux le plus important, c'est qu'il n'y a pas de solution imparable. Si le système de réputation et l'effet de masse avaient été encore présent, alors j'aurais pu sortir peut-être une fois ces propos dans le but d'insulter quelqu'un sans subir une sanction à la fin alors que ce genre de comportement est inacceptable pour beaucoup d'entre nous. Que choisir alors ? Faut-il choisir de laisser quelques cas du genre passer entre les mailles du filet et faire plus de dégâts encore par la suite ? Ou faut-il ne rien laisser passer, quitte à avoir des faux positifs parfois dont la sanction peut être annulée sans problème ? Quid d'un joueur qui n'aurait pas pensé à contacter le support et aurait juste subi une sanction injuste sans rien dire, s'imaginant ainsi qu'il vaudrait mieux ne pas du tout parler dans le chat ? Quid d'un joueur qu'on laisserait utiliser à plusieurs reprises des termes aussi inacceptables et avoir une attitude horriblement toxique sans le sanctionner dès la première infraction, alors que la lenteur du jugement était une faiblesse de l'un des anciens systèmes ?
Sur le sujet, je pense qu'il y a beaucoup de débats à faire. Mais je ne pense pas que quelqu'un puisse avoir entièrement raison. Chez Riot pour l'heure, je pense qu'on préfère bannir plus vite les joueurs au comportement inacceptables, quitte à avoir quelques faux positifs en plus, du moment qu'on peut améliorer la détection du contexte au fur et à mesure que des cas comme le mien se produise. Mais je mets en garde Riot, puisque ce scénario a fonctionné, je n'hésiterais pas à le réessayer dans le futur ! :)
Qu'est-ce qu'en pense Riot ?
Une fois la sanction levée, j'ai envoyé le cas à un de mes contacts Riot, travaillant au support, pour recueillir son avis. Du fait du contexte "privé" de la discussion, je ne citerai pas son pseudonyme (Et de toute façon, j'ai pu discuter avec un Rioter dans de meilleures conditions par la suite, vous le verrez en fin de dossier) :
"Je tiens à préciser que peu importe le contexte, aucune personne ne doit écrire des mots toxiques sur la messagerie, même les quoter/citer, ça ne fait que rajouter des propos négatifs et de la toxicité en jeu, car même si tu ne le dis pas, tu les réécris, donc donne davantage de visibilité à de la toxicité qui de base ne devrait pas être présente. Or, notons qu'il n'y a pas que des adultes sur le jeu, et qu'un enfant de 13 ans n'a pas besoin de re-lire "get cancer". Et même s'il n'y avait que des adultes, personne n'a besoin de relire de la négativité qu'il va "éponger" en tant qu'humain. Pour nous, aucun contexte ne justifie de la toxicité, mais nous améliorons tous les jours nos systèmes pour éviter que ce type de situation se produisent.
Ça reste un faux positif, dans tous les cas le ban est pas mérité.
Merci pour votre engagement cher invocateur :p"
Réponse d'un Rioter travaillant au support du jeu. Réponse publiée avec son autorisation, et sous condition de ne pas dévoiler son identité.
Dont acte. L'argument du rajout de propos négatifs et de toxicité en jeu n'est pas justifié à mon sens. J'aurais pu trouver d'autres situations, comme le fait de dire "Dude, remember that he said "get cancer", he's not going to act positively", ou d'autres phrases dans lesquelles la citation peut se faire. Par ailleurs, je doute que tous les joueurs pensent dans un contexte de partie au fait qu'il n'y ait pas que des adultes sur le jeu. Mais ce dernier argument est déjà plus valable (Même si, soyons honnête, je doute qu'un enfant n'ait pas déjà vu ce genre de propos en jeu, que ça soit sur LoL ou ailleurs...).
Bref, qu'aucun contexte ne justifie de la toxicité est normal, mais peut-on vraiment parler de toxicité dès lors qu'on est dans le cadre d'une citation ? Doit-on vraiment juger les mots alors que Riot a historiquement préféré juger l'intention de la personne ? La question reste ouverte. En attendant, le fait que le ban ne soit pas mérité est une nouvelle fois confirmé, et mon esprit de testeur jubile.
Rien d'autre à signaler ?
Autres choses apprises pendant l'expérimentation :
- Sans grande surprise, on trouve un joli lien de cause à effet entre l'ambiance de la partie, et le résultat de cette dernière...
- 35 parties, ce n'est guère suffisant pour faire des statistiques d'ambiance, mais on note quand même que les ambiances négatives/très négatives cumulées sont minoritaires face aux ambiances neutres/positives.
Détails bonus sur les tests :
- Nombre de parties jouées avant d'atteindre le résultat : 31
- Nombre de parties où le scénario a pu être appliqué : 8
Scénario #2 : gg ez/easy
Source de débats sur les forums, je vous souvent la question revenir. Si beaucoup admettent qu'il s'agit de quelque chose de négatif, est-ce qu'on peut réellement être sanctionné UNIQUEMENT pour ça ? Vous voyez venir le scénario, je pense. L'idée de ce dernier est de ne rien dire, absolument rien de la partie, et de ne sortir cette phrase qu'en fin de partie, juste avant une victoire, ou alors que le Nexus explose. Et à mon avis, je devrais être sanctionné au bout de quelques parties.
Pour cette expérience, je serai en mode ARAM. Ce dernier étant une expérience de jeu où les gens sont plus détendus, il y a moins de chances que je me fasse signaler. Une chose qui n'échappe pas à Riot d'ailleurs, qui a déjà signalé que le taux de reports était
plus élevé dans la file classé, contexte compétitif et tension oblige. Il y a aussi le fait que ces parties sont généralement plus rapides, ce qui accélère l'expérimentation. N'oubliez pas que les systèmes de sanctions fonctionnent de la même manière peu importe la file (On en reparlera à la fin du dossier), et qu'un signalement en valant 9, il ne devrait finalement avoir que de peu de différences au niveau de l'analyse des parties par l'IA.
Paramètres du test à connaître :
- Absolument aucune phrase ne sera écrite en dehors de "gg ez" à la fin de la partie. Même dans le cas où un joueur me poserait une question, s'adresserait à moi, etc... Je ne dis rien d'autre que ce "gg ez" à la fin de la partie, dans le cas d'une victoire.
- S'il n'y a pas de sanction au bout de 50 parties, je considérerai que le système ne me sanctionnera jamais pour ce comportement. Mais en toute honnêteté, rien que 10 à 20 parties sont suffisantes, le système étant rapide à traiter les parties, et le comportement étant le même tout le temps. D'autant qu'on peut légitimement se demander s'il n'y a pas un problème dans le cas où je serai sanctionné au bout de 10-20 parties, ce qui représente déjà beaucoup de parties où j'ai pourri la vie des gens.
- Toutes les parties se sont déroulées sur la file ARAM
- Pseudo d'invocateur du compte utilisé : Gladerius
Résultats de l'expérience :
Eh bien... Vous vous en doutez si vous avez vu le nombre de parties, je n'ai pas été sanctionné. Il n'y a pas grand-chose à dire sur le résultat lui-même, à part que si vous dites "gg ez" à la fin de chacune de vos victoires, vous ne devriez pas être sanctionné.
Et là, je suppose que vous allez me dire "Ok, le système n'a pas marché, mais ça veut pas dire que c'est toléré par Riot". Eh bien, je me suis dis ça aussi, notamment à cause
d'un post de Tantram. Alors, je suis retourné voir mon contact au support, pour lui demander son avis, en lui laissant le soin d'inspecter les 20 dernières parties du compte. Voici mot pour mot la réaction :
"Hello Phili. Sur les 20 parties vérifiées, non le compte ne mérite pas de sanction. Je vois bien tes "gg ez" mais en l'occurrence, il y a que dalle, donc non pas de sanction."
Réponse d'un Rioter travaillant au support du jeu. Réponse publiée avec son autorisation, et sous condition de ne pas dévoiler son identité.
Au-delà du fait que j'aurais pu m'épargner de nombreuses parties d'expérimentation rien qu'en ayant eu cette réponse avant que l'expérimentation ne commence, c'est la confirmation que le "gg ez" à lui seul, ne mènera jamais à la sanction. Pas parce que le système est défaillant, mais parce que Riot ne considère pas cette phrase à elle seule comme assez toxique pour valoir sanction, même répétée à chaque victoire. Quand je repense aux personnes qui se plaignent de leur sanction sur les forums, je ne peux m'empêcher d'avoir l'idée qu'ils méritent bien leur sanction renforcée. Car très clairement à mes yeux, le comportement que j'ai eu était toxique (
Et même Riot le reconnaît !), et, s'il ne méritait pas un ban, méritait à défaut une restriction de messagerie, ou n'importe quoi disant "Ce que tu fais, c'est pas bien". Mais rien de ça. Tout au plus, ce sera donc vu par le système comme étant borderline, et ceux qui se font sanctionner donc, font pire.
Que dire finalement de cette position contradictoire entre Tantram, l'architecte du système, confirmant bien que
c'est un motif de report, que c'est négatif, que c'est tout sauf fair-play, et que si certes un seul ne mènera pas à une sanction, le faire constamment est une tout autre chose, et entre mon contact du support, qui me répond que le compte ne mérite pas de sanction ? Difficile à dire. Comme vous vous en doutez, je m'attendais très clairement à être sanctionné, et à ce que ça aille relativement vite. Mais je ne m'attendais pas à ce que Riot considère qu'il n'y a pas lieu à mettre de sanction après avoir montré mon scénario. J'aimerais beaucoup discuter de ce scénario avec Tantram, du coup.
Voyons le côté positif cela dit, cela relancera les débats sur le sujet. Je sens qu'on va voir beaucoup de discussions constructives sur ça...
Scénario 3 : L'abus du chat post-game
Si vous avez déjà vu mes précédentes expérimentations, alors soit vous avez souri en lisant le titre du scénario, soit vous vous demandez pourquoi j'exécute une nouvelle fois cette expérimentation, qui m'a valu une sanction lors de
ma précédente tentative. Eh bien, voyez ça comme une piqûre de rappel. Une vérification que les choses marchent toujours. Et dans mon métier, on appelle ça des tests de non-régression.
Vous l'aurez donc compris, l'idée est désormais de tester la réaction du système sur le chat post-game. Pas de fioritures, je vais y aller assez violemment cette fois, et peu importe qu'il s'agisse d'une victoire ou d'une défait. Rentrons donc dans le vif du sujet. Après chaque partie, sur le chat post-game, j'écrirai les phrases suivantes :
En cas de victoire :
- bg too easy
- I feel like I played against bots
- Not even funny
- l2p guys
- Your kind of garbage should be in a trash can
Et en cas de défaite :
- bg noob team
- I feel like I played with bots
- Not even funny
- l2p guys
- Your kind of garbage should be in a trash can
Paramètres du test à connaître :
- Rien dans la partie ne sera dit de ma part, en dehors d'un "gl hf" en début de partie, et d'un "gg wp" en fin de partie.
- En l'absence de sanction au bout de 20 parties, je considérerai que le système ne me sanctionnera jamais, encore plus du fait de la toxicité élevée des phrases, qui à mes yeux, ne devraient pas donner une durée d'expérimentation supérieure à 5 parties.
- Toutes les parties se sont déroulées sur la file ARAM
- Pseudo d'invocateur du compte utilisé : Gladerius
Voilà un exemple de ce que ça donne... C'est malaisant de dire ça pour moi, genre vraiment...
Résultats de l'expérience :
Autant je pense que certains d'entre vous n'ont pas été trop surpris pour le résultat du "gg ez", autant je pense que là, le fait que je n'ai reçu aucune sanction après 20 parties va sacrément vous faire tomber des nues. Car oui, je n'ai pas été sanctionné à la suite de 20 parties et 20 chat post game où j'ai eu ces propos, pourtant toxique comme il faut, et loin d'être borderline comme on pourrait le dire avec un "gg ez" seul.
Soyons clair, quand j'ai vu que je ne me faisais pas sanctionner, j'ai pris contact directement avec Riot parce qu'à mes yeux, on était sur un problème qui allait bien au-delà d'un simple débat sur la toxicité d'un "gg ez". Là, très clairement, le système aurait dû me sanctionner sans hésiter. Même si on en reparlera à la fin du dossier, je vous mets ici la réponse que m'a donné Riot suite à mon signalement :
"Pour ce cas, le système de détection en post game n'est pas encore au niveau de celui en jeu mais il s'améliore rapidement. Ce genre de comportement devrait donc être détecté et sanctionné à l'avenir. Ce qu'il faut bien comprendre ici c'est qu'il n'y a pas de "techniques" définitives pour être négatif sans se faire sanctionner. Le système évolue tout le temps et ce qui n'est pas bien détecté à un moment le sera très certainement plus tard si cela nuit à l'expérience des joueurs.
En ce qui concerne l'efficacité du système dans ce cas précis (Ce qui est déjà un premier point discutable), c'est justement beaucoup plus facile de détecter des mots déguisés que le comportement décrit ici. Mon avis personnel, car je n'ai pas été voir les détails précis de ce cas, c'est que ce sont des phrases construites avec des notions compliqués comme "I feel", et des images comme garbage in the trash can. Cela peut sembler facile à détecter pour un humain mais ce n'est pas le cas pour une IA. De plus, il ne me semble pas que ces phrases soient fortement utilisées par la communauté en fin de partie, ce qui complique également l'apprentissage."
Réponse de Terra Sashar, Spécialiste du player behavior pour l'équipe du support du jeu. Réponse et pseudo publiés avec accord du concerné
Autant vous dire que la réponse m'a fortement déçu. Que le système de détection en post-game ne soit pas au niveau de celui en jeu est une chose, mais ce n'est pas comme si j'avais utilisé des termes peu communs, et comme si la toxicité du comportement et sa répétition n'était pas évidentes. Et j'ai du mal à penser que des termes comme "l2p", garbage, trash, etc... soient souvent utilisés dans des contextes autres que négatifs.
Coïncidence ou pas, quelques semaines après mon signalement, j'ai vu
ce topic arriver en frontpage de Reddit. Et il montre que le chat pre-game/post-game s'affiche désormais dans les messages indiquant la sanction, avec les logs de chat.
Attention, il ne s'agit pas d'une de mes sanctions. C'est l'image fournie dans le topic Reddit que je cite
Et cela implique une mise à jour du système, que Riot m'a confirmé. Je suis donc retourné faire des parties sur le même scénario (Visibles dans
le listing des parties, dans la section "2ème round"), pour voir si quelque chose avait changé... Sans obtenir la moindre différence au niveau du résultat.
Le pire dans l'histoire, c'est que j'ai cherché une raison pour laquelle le système aurait pu ne pas me condamner. J'ai même songé au fait que les joueurs ne me signalaient pas, malgré le fait qu'ils le disaient :
Et de toute façon, j'ai pu avoir la confirmation de Riot que j'avais bien été signalé... C'est incompréhensible pour moi.
À ce stade, j'ai envisagé une hypothèse simple, à savoir que le système ne fonctionnait pas dans le chat post-game. J'aurais pu tester des mots encore plus violents pour en avoir l'assurance, mais c'était déjà malaisant pour moi de balancer des phrases qui le sont déjà bien assez pour moi. Par ailleurs, même si j'avais été jusque-là, ça n'aurait rien changé au problème. Le fait est que j'ai été toxique sur le chat post-game, et que je n'ai reçu aucune sanction. Je préférerais avoir une véritable explication de Riot sur le sujet, histoire de clarifier les choses une bonne fois pour toutes. Pour rappel, lors de ma 2ème étude, il m'avait fallu 4 parties pour recevoir une restriction de messagerie dans des circonstances similaires.
L'hypothèse que sur le chat post-game, le système ne soit pas actif vous paraît inenvisageable ? Avant de démarrer mon 2ème round de parties de tests, j'ai posé la question à Riot. Voilà la réponse :
"Pour le pre/post, effectivement ce n'était pas sanctionné mais maintenant oui et le système s'améliore en continu, comme le système en jeu."
Réponse d'un Rioter travaillant au support du jeu. Réponse publiée avec son autorisation, et sous condition de ne pas dévoiler son identité.
Je suis peut-être arrivé trop tôt pour mon deuxième round, mais toujours est-il qu'au moment où j'écris ces lignes, ce n'est toujours pas sanctionné... Vraiment, ça craint.
Scénario 4 : L'usage de mots "déguisés"
Autant vous dire qu'en arrivant sur ce scénario, j'ai enchaîné beaucoup de déceptions. Clairement, on régressé par rapport à la dernière fois que j'ai testé le système. Alors, testons les performances en jeu, et face à quelque chose que le système est censé pouvoir gérer facilement, à savoir des mots déguisés. Les mots déguisés, ce sont les choses du genre "n00bs", "f.a.g.g.o.t.s", etc... Tout ce qui permettrait de contourner un système qui ne se baserait que sur un mot précis. Évidemment, on pourrait se dire que ça a peu de chances de passer, mais après ce qu'on a vu finalement... Autant essayer !
Pour ce système, je vais utiliser des mots déguisés donc. Voici ce qui va sortir sur le chat en jeu, selon les situations
- F.u-c k.i-n g f-e.e d-e.r-s
- B.o-o s.t-e d a.n-i m.a-l s
- F.u-c k.i-n g n.o-o b t.e-a m f.u-l l o.f g.a-r b.a-g e t.h-a t s.h-o u.l-d b.e i n a t-r-a.s h c-a.n
- G.e-t t h e f-u.c k o.u-t o f t-h.i-s g.a-m-e
- R-e.t-a r d.s
- N-o.o b t-e.a m
- L-m.a o y o-u g.u-y-s a.r-e s o t-r.a s.h
- U-n.i n.s-t a.l-l p l-e.a s-e a.l-l
Ça ne vous aura pas échappé, on grimpe dans la violence des mots. Et cette fois, pas d'excuse, je ne pense pas utiliser des insultes "peu communes".
Paramètres du test à connaître :
- Rien dans la partie ne sera dit de ma part, en dehors des phrases citées dans la liste ci-dessus.
- En l'absence de sanction au bout de 20 parties, je considérerai que le système ne me sanctionnera jamais, encore plus du fait de la toxicité très élevée des phrases, qui à mes yeux, ne devraient pas donner une durée d'expérimentation supérieure à 5 parties.
- Toutes les parties se sont déroulées sur la file ARAM.
- Pseudo d'invocateur du compte utilisé : Allreported
Je crois que ça va, ça se remarque un minimum...
Résultats de l'expérience :
Et là, je n'ai plus de mots pour décrire ce qu'il se passe. Si vous avez regardé le listing des parties, encore une fois, j'ai atteint les 20 parties, sans la moindre sanction. Pire encore, certains joueurs m'ont croisé à plusieurs reprises, ont bien compris que j'insultais à chaque partie, et se sont énervés vis-à-vis du fait que je ne me faisais pas bannir dans le chat post-game...
Je n'ai masqué que partiellement le pseudo de la Nami. Notez le bien...
... Et la voilà dans une partie suivante, en Akali
Je peux vous garantir une chose, c'était déjà malaisant, mais savoir qu'on inflige une double peine à un joueur, ben c'est franchement pénible. Si Akali/Nami se reconnaît dans cet article, je suis vraiment désolé, tu as été sacrifié pour l'expérimentation... Et tu n'aurais pas dû me croiser plusieurs fois si le système avait marché comme il faut.
Encore une fois, suite à ces résultats, je me suis empressé de contacter Riot, à nouveau. Je vous mets la réponse :
"En ce qui concerne les mots déguisés, je ne vais malheureusement pas pouvoir dire pourquoi ceux-ci n'ont pas été détectés mais, à mon avis, c'est parce qu'il y a plusieurs techniques combinées et que cela n'est pas une tactique courante. De ce fait, il n'y a pas assez de cas et le système n'a pas encore "appris" à bien détecter ceux-ci. Attention, il s'agit juste ici d'une tentative d'explication de ma part sans avoir été consulter les détails du système.
Je pense qu'il faut encore une fois remettre le système dans le contexte, le but n'est pas de punir un joueur qui utilise tel ou tel propos mais de détecter et d'apprendre les propos qui nuisent à la communauté pour inciter les joueurs qui les utilisent à se réformer. Ainsi, il est normal qu'un test sur peu de parties avec des techniques peu courantes ne déclenche pas directement le système."
Réponse de Terra Sashar, Spécialiste du player behavior pour l'équipe du support du jeu. Réponse et pseudo publiés avec accord du concerné
Message reçu. Malgré tout, je ne peux m'empêcher de garder une certaine boule au ventre vis-à-vis de tout ce que je découvre. Réellement, j'ai la sensation de passer sur un système brouillon. Pour un testeur comme moi, que ce genre de cas passe est inadmissible. La complexité du détournement n'est pas si élevée que ça, et permet de s'affranchir de toute sanction.
Scénario 5 (Annulé) : Le chat pre-game
Après avoir terminé cette expérimentation, je décide de passer sur un test du chat pre-game. Au moment de commencer l'expérimentation, je n'ai pas encore eu l'information de Riot me signalant que le système n'était pas actif. Mais, elle va de toute façon être interrompue par autre chose. En attendant, je pars cette fois avec l'idée que ça ne va pas fonctionner, et que je ne serai pas sanctionné, puisque je n'ai rien eu sur le chat post-game, et que contrairement à ce dernier, les joueurs n'ont pas de bouton de signalement sous la main quand je vais sortir ma toxicité, et oublieront peut-être de s'en servir après la partie, sachant que comme pour le chat post-game, je ne dirai rien ou presque dans la partie.
Rentrons donc dans le vif du sujet. Avant chaque partie, sur le chat pre-game, j'écrirai les phrases suivantes :
- Team full of retards detected
- Tired of carrying bronze trashs
- You guys will feed like the retarded people you are
- Just shut the fuck up, you doesn't deserve to talk to me
- Assholes
- I bet you father is also your uncle
Encore une fois, des mots plutôt communs lorsqu'on parle de flaming...
Paramètres du test à connaître :
- Rien dans la partie ne sera dit de ma part, en dehors d'un "gl hf" et d'un "gg wp"
- En l'absence de sanction au bout de 10 parties, je considérerai que le système ne me sanctionnera jamais. Je pars cette fois avec un a priori négatif quant au fait que je vais être sanctionné, et n'accorde donc pas la même importance à l'expérimentation du fait des résultats du chat post-game.
- Toutes les parties se sont déroulées sur la file ARAM
- Pseudo d'invocateur du compte utilisé : Allreported
Un flaming qui se remarque...
... Et ne s'oublie pas si facilement que ça !
Résultats de l'expérience :
Alors, comme vous avez pu le voir, j'ai mentionné que j'avais annulé l'expérimentation. D'abord parce que j'ai su ensuite via Riot que le système n'était pas actif sur ces canaux jusqu'à présent, mais aussi parce que mon compte a été sanctionné. Pas à cause du chat pre-game cependant. Pour rappeler le contexte, nous sommes 1-2 jours après que j'ai terminé mon expérimentation sur les mots déguisés. Et ceci est apparu lors d'une connexion à mon compte où je souhaitais poursuivre l'expérimentation.
Suite à ça, je décide d'annuler mon expérimentation sur le chat pre-game, qui n'a que peu d'intérêt. Analysons alors cette sanction. Vous vous dites : "Bah finalement, tu t'es fait sanctionner, donc le système a marché ?". Eh bien... Non. Comme vous avez pu le voir, j'ai utilisé le même compte pour démarrer une autre expérimentation, et je ne l'ai pas fait immédiatement. Lorsque le système vous sanctionne, il le fait très rapidement, et vous avez pu le voir sur ma première expérimentation, juste après qu'une personne m'ait signalé, j'ai été immédiatement sanctionné. Le système n'a pas eu le nom de "
Retours instantanés" pour rien.
Alors, comment se fait-il que cette fois, le système ait mis autant de temps à me sanctionner ? Réponse prévisible, et confirmée par Riot :
"Si le système a mis du temps à sanctionner, c'est très probablement que quelqu'un a fait une requête au support pour te signaler. Il a dû constater que tu essayais de contourner le système avec tes mots déguisés, et a dû se dire qu'il valait mieux signaler ton cas au support au cas où le système ne le détecterait pas."
Réponse d'un Rioter travaillant au support du jeu. Réponse publiée avec son autorisation, et sous condition de ne pas dévoiler son identité.
Et c'est logique. Le délai avant que je ne sois banni correspond parfaitement au temps qu'aurait pu attendre un joueur pour avoir une réponse à son ticket au support. Alors voilà, le support m'a sanctionné, mais cela signifie aussi que le système ne l'aurait pas fait lui-même, comme mon expérimentation l'a montré. C'est dommage, mais au moins, justice a été rendue. Et je ne pourrai plus utiliser ce compte pour les expérimentations ultérieures. Finalement, c'est plutôt rassurant. Je préfère que le système ne m'ait pas sanctionné, car ça signifie qu'il y a juste à améliorer la détection, plutôt qu'il soit trop lent à le faire, car cela impliquerait de potentiels problèmes de capacités de traitement, autrement plus complexes à résoudre.
Scénario 6 : Le spam de pings
En arrivant sur cette expérimentation, je ne m'attends pas à être sanctionné. Le spam de pings, bien que pénible, n'est généralement qu'un "ajout" à de la toxicité ambiante. Tout le monde a sûrement connu les pings "?" envoyés après une mauvaise action de quelqu'un. Qu'il s'agisse de pings sur la map, ou de pings indiquant un ultime non-utilisé, c'est évidemment une attitude négative, et à mes yeux il devrait y avoir une sanction dans le cas où une personne abuserait trop de pings, quitte à les lancer chaque fois que la limite se réinitialise. Mais une restriction de chat, ou un ban, seraient inadaptés. Et finalement, est-ce un comportement si fréquent que ça que de spammer des pings ? Tout cela reste à voir. Mais rentrons malgré tout dans le vif du sujet...
Paramètres du test à connaître :
- Rien dans la partie ne sera dit de ma part. Il n'y aura que des pings.
- Un spam de pings jusqu'à la limite autorisée par le jeu sera effectué dès lors qu'un allié effectue une mauvaise action, ou meurt.
- En l'absence de sanction au bout de 10 parties, je considérerai que le système ne me sanctionnera jamais. Je pars cette fois avec un a priori négatif quant au fait que je vais être sanctionné, et n'accorde donc pas la même importance à l'expérimentation du fait des résultats du chat post-game.
- Toutes les parties se sont déroulées sur la file ARAM.
- Pseudo d'invocateur du compte utilisé : Allreported
Comme avec les expérimentations précédentes, ce genre de comportement ne passe pas inaperçu.
Résultats de l'expérience :
Pas de sanction au terme des 10 parties. C'est moins surprenant que dans les autres scénarios, et Riot va même me le confirmer :
"Pour ce qui est des pings, je n'ai personnellement pas vu de sanction pour abus de pings et, puisque cela ne semble pas particulièrement gêner la communauté, je pense qu'il est peu probable que nous commencions à appliquer des sanctions pour cela."
Réponse de Terra Sashar, Spécialiste du player behavior pour l'équipe du support du jeu. Réponse et pseudo publiés avec accord du concerné
Je pense que les pings, en particulier parce qu'ils n'appellent pas à une discussion ou à une réponse comme le ferait du flaming, restent une nuisance marginale et facile à stopper via un simple /mute. L'expérimentation est intéressante en soit, car elle montre au moins une chose, à savoir que les joueurs auront plus tendance à réagir à de la discussion qu'à un abus d'une interaction avec un système de jeu. Et on comprend alors un peu plus pourquoi certains jeux suppriment les canaux de communication pour ne laisser la place qu'à des phrases pré-construites, à des émotes, etc...
Je précise avant de passer à la suite, qu'il ne s'agit pas du dernier scénario que j'ai exécuté. En réalité, j'ai exécuté ce scénario avant le 4ème sur les mots déguisés. Ce qui explique que j'ai pu utiliser un compte qui s'est fait sanctionner ensuite. Mais je préférais aborder ce scénario en dernier, du fait de son importance dans le dossier.
Pour aller plus loin : Les expérimentations non-exécutées
Avec 6 scénarios exécutés, nous avons déjà de quoi faire niveau analyse. Il aurait certainement été possible d'aller plus loin et d'en faire davantage, mais certaines de mes idées se sont heurtées à des barrières. Voici donc quelques expérimentations que je n'ai pas menées, et les raisons de cette non-exécution :
- Le feeding volontaire : J'aimerais beaucoup expérimenter des choses autour de ça. Il y a de quoi faire plusieurs expérimentations sur la thématique, pour voir ce que donne un feeding volontaire "grossier" (Bottes de mobilité, zèle, etc...), soft (Faire exprès de perdre en jouant très mal sans pour autant ne pas jouer sur sa lane), avec des répliques sur le chat annonçant ou non le feeding, des tentatives de feinte à base de "désolé, je suis vraiment tilt, je fais nawak", etc... Mais voilà, déjà que le flaming est malaisant pour moi, et que par ailleurs, autant le flaming affecte la partie, mais pas directement le gameplay, autant là je pourris juste la partie des gens, et ça... C'est pas une chose dont je me sens capable. S'ajoute à cela que je risquerai d'y sacrifier beaucoup de comptes, et que je n'en ai probablement pas assez.
- Le flaming soft/hard : Ici, c'est plus l'inutilité de l'expérimentation qui me pousse à ne rien faire de ce côté. On voit régulièrement des personnes se plaindre sur les forums et les réseaux sociaux de leur sanction, et on peut établir avec ce qu'ils disent une sorte de "ligne" à ne pas dépasser. En clair, on voit à peu près à quel moment on risque la sanction. Tester des termes particuliers pour savoir s'ils peuvent être source de sanction à eux seuls est pertinent, chercher des contournement au système aussi, mais tester quelque chose pour lequel on a déjà suffisamment de données... C'est moins pertinent.
- Le spam d'émotes : Si le spam de pings n'a rien donné, je doute que celui d'émotes donne quelque chose. Cela risque surtout de finir avec le même résultat, à savoir des joueurs qui mutent, et c'est tout.
- La prise d'otage : Prendre en otage les joueurs dans la sélection des champions, en menaçant de troller s'ils ne font pas ce que je leur demande. Même raisons que pour le feeding volontaire, c'est un niveau de toxicité que je ne suis pas prêt à tester.
Cela ne m'empêchera pas d'essayer de poser des questions à Riot sur ces sujets, mais l'expérimenter moi-même, c'est non.
Conclusion des expérimentations
Catastrophique ne serait peut-être pas tout à fait assez juste pour décrire le ressenti que j'ai vis-à-vis de la robustesse du système face à mes tentatives de contournement. D'autant plus que comme je l'ai déjà indiqué, certaines tentatives n'auraient pas fonctionné il y a 4 ans. Alors que dire finalement du système ? Eh bien, au regard de mes expérimentations, il y a un bon nombre de cas où il y a des progrès à faire, mais aussi des cas où il est inadmissible à mes yeux qu'il soit possible de contourner aussi facilement le système, notamment sur le post-chat et les mots déguisés.
Tout cela ne me rassure pas. Les très nombreux cas qu'on voit sur les forums montrent suffisamment que le système marche dans des conditions classiques. Mais pour peu que quelqu'un s'amuserait à essayer de contourner le système, il n'aurait pas besoin de se tordre beaucoup l'esprit. Alors certes, j'ai fait remonter ces problèmes à Riot, mais vous l'avez vu avec le post-chat, rien n'a changé malgré ce qui m'a été annoncé. Comment faire alors ? Eh bien, il faudrait interviewer des Rioters...
Les questions posées à Riot
La démarche de l'interview vers Riot n'est pas simple. Riot a refusé de me donner le contact de Tantram pour lui poser des questions, alors que c'est surement lui qui aurait les réponses les plus intéressantes.
GhostCrawler, même si ce n'est pas son domaine de compétence, n'a pas répondu à mes sollicitations.
Lyte, à qui j'aurais aimé demander sa vision des choses entre avant et après son départ, n'a pas non plus répondu à mes sollicitations. Autant vous dire que je me sens légèrement ignoré.
Mais j'insiste malgré tout, et finit par obtenir un contact avec Terra Sashar, spécialiste du comportement des joueurs pour les équipes du support du jeu. Je le remercie d'avoir accepté de répondre à mes questions, sans l'anonymat ! :)
Alors, comment ai-je choisi mes questions ? Eh bien, rien de bien compliqué. J'ai donné le contexte à mon interlocuteur, et j'ai ensuite posé les questions vis-à-vis du fait que je ne m'attendais pas à cette réaction du système. Vous devriez retrouver ce schéma dans presque toutes les questions. Notez qu'une fois la première question passée, j'ai posé d'autres questions si je jugeais que c'était nécessaire, ou s'il y avait un élément de la première réponse sur lequel réagir.
Scénario #1 - Condamnation à tort : Les banwords dans un contexte positif
Philidia
D'après Tantram, le système de sanction appelé "IFS", est composé de plusieurs modules qui vérifient chacun des éléments de la partie du joueur à examiner. L'un d'eux détecte des choses "Tolérance zéro", comme les discours haineux. Tantram décrit ce module comme le plus naïf, car il s'attaque uniquement à des choses qui ne devraient jamais avoir leur place dans le jeu. Pourtant, à travers une expérimentation où les mots "Get cancer" et "Kys" ont été utilisés comme citation des paroles d'un autre joueur, le système a été incapable de détecter ce contexte, et a selon nous banni le compte de test suite au report de l'auteur original des paroles, qui a signalé le compte de test (Et probablement tous les autres joueurs de la partie). Les questions sont donc :
- Pourquoi le système n'a pas été en mesure de détecter le contexte de la citation alors que Riot a souvent tendance à mettre en avant son IA comme perfectionnée et peu encline aux erreurs, comprenant le contexte des parties ?
- Est-il acceptable pour Riot qu'un joueur qui se retrouve dans cette situation n'ait pas la mention dans l'explication de son ban de la possibilité de faire un recours au support du jeu, qui serait pourtant utile en cas de suspension abusive, sachant que notre compte de test a vu sa sanction levée dans la journée après une demande au support, celle-ci étant bien entendue injustifiée ?
- Pourquoi Riot a retiré les deux barrières qu'étaient le nombre de reports avant l'examen d'une partie, et la valeur des reports d'un joueur dans la contribution à l'examen d'une partie, alors que n'importe laquelle des deux parties aurait certainement évité la sanction abusive ? Est-ce que l'analyse immédiate sans la prise en compte de ces deux éléments abouti à des résultats généralement aussi fiables que s'ils étaient présents, le tout plus rapidement ?
Terra Sashar
Pour ce qui est des citations, cela est extrêmement difficile à détecter pour une IA et, comme indiqué par Tantram, le système "Tolérance zéro" est le plus naïf.
Le fait que le recours au support ne soit pas mentionné dans le message de ban est dû au fait que ces cas sont très rares et doivent tendre vers zéro. Le message vise donc à informer les joueurs qu'ils doivent changer de comportement lorsqu'il reçoivent cette sanction et indiquer qu’il peut s’agir d’un faux positif pour le très faible pourcentage où cela est le cas risque de porter à confusion et de réduire l’impact du message.
Je ne peux malheureusement pas répondre au point suivant car cela rentre dans le fonctionnement du système, je peux juste dire que, si nous effectuons une modification, c'est que nous constatons que celle-ci donne de meilleurs résultats.
Scénario #2 : gg ez/easy
Philidia
Historiquement, Riot a toujours dit que le "gg easy" en fin de partie, et ses variantes, étaient un comportement négatif, qui valait sanction. Pourtant, lors de notre expérimentation, après 50 parties, où cette phrase a été systématiquement prononcée à la fin de chaque partie gagnante, et où des joueurs nous ont clairement annoncé ensuite dans le chat post-game qu'ils nous avaient signalé, le compte n'a pas été sanctionné. Les questions sont donc :
- Pourquoi le système n'est pas intervenu pour sanctionner des propos pourtant considérés par Riot comme négatifs et méritant une sanction ? Est-ce l'absence de détection du système, ou l'absence de signalement des joueurs qui est en cause ? Comment se fait-il que lors de notre étude précédente, effectuée à la sortie de la messagerie restreinte, ce comportement ait été sanctionné au bout de 4 parties par une restriction de messagerie pour 20 parties, alors qu'il n'y a rien eu cette fois ?
- Pourquoi, après avoir montré l'historique du compte à un membre du support, qui a l'obligation de sanctionner un compte s'il découvre un comportement négatif sur ce dernier, aucune sanction n'a été prise à l'encontre du dit compte, et le membre du support a ajouté que "Le compte ne mérite pas de sanction" ?
- Suite aux deux questions précédentes, doit-on en déduire que Riot tolère ce comportement ?
Terra Sashar
Pour ce point, je vais à nouveau devoir être vague. Ce que je peux dire, c'est que ce n'est pas RIOT qui décide directement de ce qui est toxique mais bien l'ensemble de la communauté sur un serveur via l'ensemble des signalements reçus. Ainsi, je suppose personnellement que le "gg easy" n'est plus considéré comme suffisamment négatif pour causer une sanction à lui seul. Pour ce qui est du support, nous n'avons pas l'obligation de sanctionner un compte mais nous pouvons enquêter suite à un signalement et prendre les mesures qui nous semblent nécessaires.
Philidia
Si c'est la communauté qui décide de ce qui est acceptable ou non, comment se fait-il qu'il existe un module de "banwords" ? Cela me paraît difficile de penser que ce sont les joueurs qui impactent ce dernier.
Terra Sashar
Pour ce qui est du module de "banwords", encore une fois, on est dans le fonctionnement direct du système et il va donc être difficile de donner une réponse satisfaisante. Disons simplement que lorsque les mots ne laissent pas de doute et sont "extrêmes" comme par exemple "kys" ou "faggot", il est normal d'être sanctionné directement pour l'utilisation de ceux-ci.
Scénario 3 : L'abus du chat post-game
Philidia
Lors de notre 3ème expérimentation, les phrases suivantes ont été envoyées sur le chat post game :
En cas de victoire :
- "bg too easy
- I feel like I played against bots
- not even funny
- l2p guys
- your kind of garbage should be in a trash can"
En cas de défaite :
- "bg noob team
- I feel like I played with bots
- not even funny
- l2p guys
- your kind of garbage should be in a trash can"
Cependant, après 20 parties en adoptant ce comportement, sans rien dire d'autre en jeu, aucune sanction n'a été prise à l'encontre du compte de test, malgré le fait que des joueurs nous ont signalé à plusieurs reprises nous avoir report, comme avec le "gg easy". Les questions sont donc les suivantes :
- Comment est-il possible que le système de sanctions n'ait pas détecté un comportement aussi abusif et évident au bout de 20 parties où le dit comportement était systématiquement présent ?
- Comment Riot peut-il dire aux joueurs que le système est fiable pour sanctionner des joueurs, alors que des comportements comme celui-ci, démontrent que de toute évidence, il existe des failles béantes pour passer à travers les mailles du filet, sans même utiliser de techniques complexes ?
Terra Sashar
Pour ce cas, le système de détection en post game n'est pas encore au niveau de celui en jeu mais il s'améliore rapidement. Ce genre de comportement devrait donc être détecté et sanctionné à l'avenir. Ce qu'il faut bien comprendre ici c'est qu'il n'y a pas de "techniques" définitives pour être négatif sans se faire sanctionner. Le système évolue tout le temps et ce qui n'est pas bien détecté à un moment le sera très certainement plus tard si cela nuit à l'expérience des joueurs.
Philidia
Même si je comprends la remarque, elle aurait pour moi du sens dans le cas d'une technique cherchant à contourner le système, comme l'usage de mots déguisés par exemple, que le système ne connaît pas encore, mais qu'il connaîtra à force de les voir utilisés. Un peu comme le "rekt" à son époque. Là, le comportement était réellement facile à détecter, aussi, même si le système n'est "pas au niveau de celui en jeu", j'aurais du mal à imaginer qu'il puisse être efficace s'il ne voit pas un comportement aussi évident à sanctionner à mes yeux.
Terra Sashar
En ce qui concerne l'efficacité du système dans ce cas précis (ce qui est déjà un premier point discutable), c'est justement beaucoup plus facile de détecter des mots déguisés que le comportement décrit ici. Mon avis personnel, car je n'ai pas été voir les détails précis de ce cas, c'est que ce sont des phrases construites avec des notions compliqués comme "I feel", et des images comme garbage in the trash can. Cela peut sembler facile à détecter pour un humain mais ce n'est pas le cas pour une IA. De plus, il ne me semble pas que ces phrases soient fortement utilisées par la communauté en fin de partie, ce qui complique également l'apprentissage.
Scénario 4 : L'usage de mots "déguisés"
Philidia
Nous sommes dans le même contexte que les expérimentations précédentes. J'utilise un compte de test dédié à l'activité, et ma dernière expérimentation s'est faite sur 20 parties. Le scénario visait à évaluer la capacité de l'IA à trouver des mots "déguisés". Voici quelles sont les phrases que j'ai utilisé :
- F.u-c k.i-n g f-e.e d-e.r-s
- B.o-o s.t-e d a.n-i m.a-l s
- F.u-c k.i-n g n.o-o b t.e-a m f.u-l l o.f g.a-r b.a-g e t.h-a t s.h-o u.l-d b.e i n a t-r-a.s h c-a.n
- G.e-t t h e f-u.c k o.u-t o f t-h.i-s g.a-m-e
- R-e.t-a r d.s
- n-o.o b t-e.a m
- l-m.a o y o-u g.u-y-s a.r-e s o t-r.a s.h
- u-n.i n.s-t a.l-l p l-e.a s-e a.l-l
Suite aux 20 parties effectuées, pas de sanctions donc, et évidemment, je m'attendais là aussi au contraire, d'autant que j'ai croisé des joueurs identiques 2 fois de suite, et ils m'ont bien signalé m'avoir report sur la première partie. Mes questions sont donc les suivantes :
- Riot avait signalé à l'aube de la messagerie restreinte que du fait du principe de l'IA, capable d'apprendre des nouveaux mots, et de repérer lorsqu'un joueur tente de déguiser les mots (Noob en N00b/N.o.o.b/etc...), la possibilité d'avoir des joueurs contournant le système en déguisant des mots étaient improbable. Comment se fait-il que mes paroles n'ait pas été repérées, alors même que des joueurs m'ont signalé m'avoir report ?
- Je me doute que tu ne pourras pas répondre à la question, qui cherche des détails précis, mais, le système de repérage dont je parle, s'il est bien actif, n'a-t-il pas un degré de complexité qui fait qu'il n'a pas vu mes paroles, partant du principe que peu de joueurs se prendraient à l'exercice de déguiser des phrases, qui plus est dans un contexte de jeu ne facilitant pas les choses ?
Terra Sashar
En ce qui concerne les mots déguisés, je ne vais malheureusement pas pouvoir dire pourquoi ceux-ci n'ont pas été détectés mais, à mon avis, c'est parce qu'il y a plusieurs techniques combinées et que cela n'est pas une tactique courante. De ce fait, il n'y a pas assez de cas et le système n'a pas encore "appris" à bien détecter ceux-ci. Attention, il s'agit juste ici d'une tentative d'explication de ma part sans avoir été consulter les détails du système.
Je pense qu'il faut encore une fois remettre le système dans le contexte, le but n'est pas de punir un joueur qui utilise tel ou tel propos mais de détecter et d'apprendre les propos qui nuisent à la communauté pour inciter les joueurs qui les utilisent à se réformer. Ainsi, il est normal qu'un test sur peu de parties avec des techniques peu courantes ne déclenche pas directement le système.
Scénario 6 : Le spam de pings
Philidia
Lors de notre 4ème expérimentation, nous avons eu recours au spam de pings. L'utilisation qui en était faite était assez simple, le ping "?" (Enemy missing) était utilisé jusqu'à sa limite maximale dès lors qu'un joueur allié mourrait, faisait une action ratée, ou passait trop de temps sur la plateforme d'invocation. Après 12 parties, toujours pas de sanctions, mais le comportement semble bien moins gênant pour les autres joueurs, qui se sont sûrement contentés de /mute notre compte de test, car il n'y a eu de réaction sur le chat suite à ce spam qu'une seule fois dans ces 12 parties. Les questions sont les suivantes :
- As-tu connaissance d'un cas où une personne se serait fait sanctionner pour un abus de pings ?
- De manière générale, sais-tu si ce genre de comportement seul, est une chose qui a tendance à se faire signaler davantage, également, ou moins que les comportements toxiques plus classiques ?
Terra Sashar
Pour ce qui est des pings, je n'ai pas plus d'informations là-dessus mais, encore une fois personnellement, non, je n'ai pas vu de sanction pour abus de pings et, puisque cela ne semble pas particulièrement gêner la communauté, je pense qu'il est peu probable que nous commencions à appliquer des sanctions pour cela.
J'aimerais aussi ajouter qu'il faut bien comprendre que le système de sanctions n'est pas mis en place pour punir les joueurs. Notre objectif principal est de faire réaliser aux joueurs l'impact négatif de leur comportement sur les autres joueurs afin de les aider à se réformer. Les suspensions définitives, quant à elles, servent à protéger les autres joueurs du comportement d'un joueur qui ne s'est malheureusement pas réformer ou des cas extrêmes.
Il ne faut donc pas voir les systèmes mis en place comme des systèmes policier du type: "Un joueur a dit ça, il doit être puni de tel façon". Ce sont vraiment des systèmes évolutifs qui doivent s'adapter à l'évolution des comportements afin de continuer à faire réaliser aux joueurs l'impact de leur comportement.
Conclusion générale du dossier
Alors finalement, que peut-on dire vis-à-vis de toute cette expérimentation ? Eh bien, le système a progressé en matière de rapidité par rapport au tribunal, et aux premières itérations de la messagerie restreinte. Dans la majorité des cas, il fera certainement son travail, la majorité de la toxicité étant en jeu, et sortant des scénarios que j'ai mis en place.
Mais le système a aussi régressé sur certains points. Moi qui n'avait pas réussi à mettre en défaut les premières itérations de la messagerie restreinte, je m'attendais réellement à ce qu'aucune de mes expérimentations ne réussisse, pas même le spam de pings. Et finalement, elles sont toutes passées. Qu'importe ce qu'en dit Riot, il est à mes yeux inacceptable que le système soit aussi facile à contourner. Sans même user des ruses pour déguiser les mots comme je l'ai fait dans une des expérimentation, le simple fait que le chat post-game ne soit pas pris en compte... Est franchement ridicule.
On peut arguer que les joueurs qui flameraient sur ce chat post-game auront de toute façon flame en jeu, et c'était même un des piliers de l'argumentaire que Riot m'avait donné lorsque j'avais mis en défaut le tribunal sur ce même chat. Mais malgré tout, rappelez-vous bien d'une chose. Qu'est-ce qui fait qu'un joueur toxique fait des dégâts ? Le fait qu'on le laisse faire. Même si la proportion de joueur usant des techniques que j'ai donné s'avérait infime, cela resterait des joueurs qui peuvent répandre de la toxicité sans aucune sanction derrière, ce qui signifie que leur impact sur le jeu grandit au fil du temps, alors qu'un joueur toxique classé est stoppé à un moment ou à un autre, soit parce qu'il change son comportement, soit parce qu'il finit permabanni. Et un joueur qui ne reçoit pas de sanction n'a aucune raison de changer de comportement.
Par ailleurs, j'insiste sur mon monde professionnel. Établir des scénarios de tests, chercher des failles dans les systèmes, etc... est une chose que je fais tous les jours (Pas dans le même secteur, certes), et voir un système se faire contourner aussi facilement me donnerait des sueurs froides, car je penserais avoir réellement mal fait mon travail. C'est déjà arrivé que je vois des problèmes survenir sur les systèmes après mes tests, une fois que tout le monde les utilise. Des problèmes graves même, qui ont été bien couverts par les médias. Et je peux vous dire que dans ce genre de moment, on a une sacrée peur concernant le fait qu'on ait oublié un détail, un test, qu'on ait mal interprété un résultat, etc... J'ai donc du mal à comprendre comment des contournements aussi simples ont pu passer, et j'espère vraiment que Riot répondra à mon étude (Et pour aller jusqu'au bout, la cause des problèmes dont j'ai parlé n'avait - heureusement - rien à voir avec moi).
Concernant la condamnation à tort, les arguments de Riot sont, je dois l'admettre, beaucoup plus recevables. Je maintiendrai malgré tout mon avis concernant le fait que rien n'indique au joueur qu'il peut contester sa sanction, alors que ça devrait être le cas. Riot peut arguer que le cas est rare, et donc que cela ne ferait que créer des requêtes qui aboutiraient la quasi-totalité du temps à la confirmation de la sanction, mais cela reste le travail du support, et si les sanctions, en particulier les sanctions lourdes comme celles-ci, ne concernent qu'un petit groupe de gens, la proportion de requêtes en plus devrait être, je pense, limitée. Mais il s'agit malgré tout d'un cas assez spécial. Je ne dirai pas non malgré tout à quelques réponses supplémentaires de Riot :)
Je ne manquerai pas de vous donner les suites et les retombées de ce dossier. J'espère qu'il y en aura. Pour l'heure, je dois traduire ce dossier pour qu'il soit publié sur les forums Américains, et sur Reddit. C'est certainement là que j'ai le plus de chances d'avoir des retombées. En attendant, j'espère que vous avez apprécié la lecture de ce dossier. Il a nécessité 5 mois au total, pas mal de démarches, beaucoup de réflexion, etc... Mais ça en valait le coup, je pense.
Annexe : Que dire du système aux gens aujourd'hui ?
Si vous avez l'habitude de répondre aux joueurs sanctionnés, de leur donner des conseils, ou de leur dire que le système fonctionne bien (Comme moi par fois, en gros), alors ce dossier n'est pas vraiment appréciable (Sauf peut-être la partie avec les liens et les infos sur le système au début). Je m'attends à ce qu'à l'avenir, certains gros malins s'en servent pour dire que le système peut condamner à tort, ou dise que Riot est laxiste. Un drôle de contradiction, souvent relative à un vécu personnel. Il est évident qu'une personne qui se fait condamner n'ira pas souvent vous dire que le système est laxiste, et qu'une personne qui a croisé un joueur toxique qui n'aurait pas été sanctionné pour une quelconque raison (Pas assez de toxicité globalement, comportement mauvais uniquement sur cette partie, etc...), n'ira pas vous dire que le système est trop sévère.
Le fait est que mon dossier relate malgré tout de cas où j'essaye de le contourner. Est-ce que ça signifie qu'un joueur avec des logs de chat horribles n'a pas mérité son ban ? Bien sûr que non. Ce que vous devez garder à l'esprit, ce n'est pas que le système est laxiste, car ce n'est pas ce que j'ai essayé de démontrer avec ce dossier. Ce que je montre ici, ce sont les contournements possibles, les erreurs que peut faire le système, et les faiblesses de ce dernier face à des méthodes simples à mettre en place.
Rien dans ce dossier ne permet de dire pour un condamné que le système se trompe sur son cas parce qu'il a dit "gg easy" à la fin de toutes ses parties. Rien dans ce dossier ne permet de dire pour un condamné que le système n'aurait pas dû le sanctionner parce que ses propos sont sur le chat post-game. Et ceux qui en arrivent à de telles excuses sont simplement dans le déni, soit parce qu'ils ne veulent pas perdre leur compte, soit parce qu'ils aiment jouer au jeu, et s'en retrouvent privés, soit parce qu'ils ne réalisent pas l'impact de leur comportement, et trouvent la sanction injuste, soit parce qu'ils ont le sentiment que tout le monde est comme eux via un biais de négativité, et qu'il faudrait donc sanctionner tout le monde, etc...
En revanche, ce système peut s'avérer être un appui pour envoyer une requête au support concernant un comportement agressif dans le post chat, ou un des mots déguisés. Il peut s'avérer être un bon moyen de montrer que Riot a des progrès à faire dans certains domaines qui étaient pourtant maîtrisés avant. Il peut servir à d'autres analyses, la mienne n'en étant qu'une parmi d'autres, et vous fournissant les données pour vous livrer à la vôtre. Après tout, qu'est-ce qui empêcherait quelqu'un de dire de mon expérimentation du chat post-game qu'elle n'est pas plutôt le reflet du fait qu'une fois la partie terminée, on devrait passer à autre chose ? Rien. Mais il faudrait certainement d'autres éléments que mon expérimentation pour appuyer ça.
Concrètement, si vous devez parler du système de sanctions aujourd'hui à un condamné, alors, rassurez-vous, rien ne changera pour vous. Le système a très certainement bien marché dans son cas, et vous avez un cas rare de condamnation à tort qui vous reviendra à l'esprit si vous le croisez, et vous donnera la procédure à suivre (Même si c'est souvent la même, à savoir contacter le support). Si vous devez en parler à quelqu'un qui a vu un comportement toxique et se demande si la personne sera sanctionnée avec un signalement, alors c'est une autre paire de manches. Très concrètement, la toxicité "classique" ne devrait pas inquiéter qui que ce soit qui la subit, un signalement fera parfaitement l'affaire. Mais c'est lorsqu'elle rentre dans un de mes scénarios qu'il faudra se montrer prudent. Des menaces de mort sur le chat post-game ? Contactez le support. Des mots déguisés ? Idem.
Je pense que vous voyez le principe. Mais par-dessus tout, je pense qu'il faut aussi maîtriser la confiance qu'on a dans l'outil. Restez friands de preuves factuelles et de logs de chats, car c'est eux qui vous permettront d'avoir la meilleure analyse. Il y a peu de raisons qui peuvent motiver un joueur à ne pas dévoiler ses logs de chats s'il en a eu, à moins qu'il ne sache déjà qu'il a quelque chose à se reprocher. Et même s'il les dévoile, attention au texte seul. Je vous ai mis dans la section des liens et des références des exemples de joueurs qui mentent, qui changent leurs logs, etc... Prudence donc, car si le système montre quelques failles quant à des comportements exotiques, il y a peu de raisons qui pourrait faire aboutir à des logs de chats cleans, autre que des actions en jeu toxiques (Feeding volontaire par exemple), ou des comportements négatifs plus subtils (Perturber la jungle d'un allié, se suicider sur des monstres, tenter de gruger le LeaverBuster, etc... Bref, la toxicité n'est pas seulement visible dans le chat, et les joueurs ont parfois une fierté et/ou un orgueil qu'il est difficile d'ébranler sans un smite de Tantram.
MAIS ! Tout cela ne doit en rien vous empêcher de pousser des joueurs à être plus positifs. Ils ne veulent pas perdre leur compte en général, et vous ne voulez pas qu'ils soient toxiques en général. Voilà deux bonnes raisons de chaque côté qui peuvent motiver à mieux interagir avec des condamnés. Et si vous prenez le temps de leur répondre et de leur montrer que ce qu'ils font n'est pas acceptable, alors un grand merci, car les comportements négatifs dans les jeux vidéos n'évolueront pas en dissimulant la poussière sous le tapis avec des techniques comme l'abolition de chats de discussions, ou l'obligation d'utiliser émotes et phrases pré-construites.
Annexe : Pour les lecteurs de LoLTracker...
Ça faisait longtemps pas vrai ? Les dossiers font partie de l'ADN du site, et c'est vrai que je n'en avais pas sorti depuis longtemps. Je l'ai dit aux tipeurs, qui ont l'avantage d'avoir des infos en avance, mais s'il y avait des dossiers que j'aurais aimé faire au cours de ces derniers mois, je les ai retardés ou annulés, pour faire cette nouvelle étude sur les systèmes de sanctions. C'est toujours aussi chronophage et difficile à combiner avec une vie professionnelle et personnelle à côté, mais je trouve que ça vaut le coup, surtout pour vous ! Car s'il y a bien une chose qui motive à sortir des articles construits, c'est quand les personnes qui les lisent et y réagissent font des commentaires tout aussi construits. Merci donc à vous tous, commentateurs ou lecteurs, ou les deux, car vous êtes un bon carburant pour me donner envie d'en sortir toujours plus :)
Et dites-vous bien, l'audience du site a baissé par rapport à il y a quelques années. Ce n'est pas toujours facile de faire ces longs dossiers en se disant qu'ils sont finalement moins souvent lus. Alors, si vous avez l'occasion, n'hésitez pas à le partager, et à faire connaître le site avec lui :p
Le rythme "normal" des dossiers devrait donc reprendre, les prochains n'étant pas aussi poussés et ne nécessitant pas autant d'investigations de ma part. Surveillez le site !
N'hésitez donc pas à laisser des commentaires. Je lirai tout, et essayerai de répondre à tout le monde.