En place depuis quelques jours, le nouveau système de sanctions de Riot, à base de machine learning, a commencé son travail. Pendant ce ce temps, Lyte n'hésite pas à en parler autant que possible
sur Reddit, pour expliquer son fonctionnement, et en apprendre plus aux joueurs sur le côté machine learning, ce qui ressemble pour le coup à une séance de questions-réponses, que nous avons traduite.
En quoi ce système aide à la reconversion ? Les logs de chat sont une bonne chose, mais s'ils viennent en même temps que la punition, je ne vois pas leur utilité, surtout si c'est pour un permaban.
Nous commençons avec des bans de 15j ou des permabans, mais nous mettrons à jour le système ensuite pour qu'il gère les avertissements, les restrictions de messagerie et de parties classées, si les tests se déroulent bien.
Le système peut-il différencier quelque chose comme "This fucking lee", qui signifierait "Punaise, il est bon" ?
C'est plus difficile à comprendre pour le système, mais dans ce cas de figure, il essayera de voir ce que les autres joueurs ont fait dans cette situation. Par exemple, est-ce qu'ils ont report ce joueur, ou est-ce qu'ils ont compris que c'était une blague ou un compliment ?
Est-ce que le système fait la différence entre une colère ponctuelle et une attitude récalcitrante ?
Si c'est juste un mauvais jour pour un joueur, le système ne lui donnera en général rien pour le moment. Dans le futur, il sera en mesure de gérer des pénalités plus mineures, comme des avertissements ou des sanctions. Cependant, si le joueur se montre agressif pendant toute partie, avec du racisme ou des choses du genre, il est possible qu'il finisse permaban immédiatement, même s'il n'a pas d'antécédents. Certains comportements, et notamment ceux comme le racisme, sont traités avec une tolérance zéro par le système.
Comment comptez-vous vous occuper des streamers ? Ils n'écrivent parfois rien en jeu, et le système ne pourra pas détecter les insultes qu'ils disent à l'oral.
Les joueurs pros ont des standards à respecter encore plus élevés que les joueurs. Si le joueur en question a été insultant pendant son stream, mais n'a rien écrit en jeu, le système ne le détectera pas. En revanche, notre équipe eSport travaille généralement avec les joueurs pros pour s'assurer que les streams ne sont pas toxiques d'une quelconque manière.
Est-ce qu'une mise à jour ultérieure mettra en place un message comme par exemple "Une action a été prise à l'encontre de quelqu'un que vous avez signalé" ?
Tu penses à ça ? C'est en cours de test sur le PBE :)
Qu'est-ce qu'il se passe si le système décide d'une sanction alors que le joueur est toujours en jeu ?
Le système attendra jusqu'à la fin de la partie.
On dirait que ce système se base uniquement sur des mots-clés
Il ne cherche pas uniquement des mots-clés. Il apprend les phrases au fil du temps, dans chaque partie. Nous travaillons aussi sur les capacités du système à détecter les sarcasmes ou les agressions passives, qui sont en général assez difficiles à détecter juste avec des mots.
Un exemple de faux positif ?
Le cas le plus connu est un joueur qui s'insultait lui-même et qui a déclenché le système. Nous travaillons à travers quelques cas exotiques et mettrons à jour le système dans les prochains jours, donc je pourrai en parler plus tard.
Avez-vous aussi prévu de faire en sorte que le système gère les alertes qu'on reçoit après les parties ?
Oui, nous allons les intégrer aussi à ce système.
Est-ce que le système réussi à s'adapter aux différentes cultures et langages ? En Europe par exemple, il y a de nombreux langages différents.
Oui, l'Europe a été une des régions les plus difficiles à cause de ça, mais le système s'en est bien sorti dans nos tests internes, et nous pensons qu'il va bien s'en sortir.
Il y a d'autres régions qui se sont avérées difficiles ?
Oui, par exemple, la phrase "your mom" est neutre ou positive quand elle est utilisée en Anglais. Mais en Coréen, la même phrase est presque tout le temps très négative.
Est-ce que ce système est rétroactif ?
Non, il ne considérera que les comportements après son lancement.
Pourquoi ne pas ramener le vote communautaire ?
Le tribunal va revenir avec le système de vote, donc il n'y a aucun problème avec ça.
Et la liberté d'expression alors ? Pourquoi limiter le langage utilisable ?
Nous connaissons bien cette liberté. Tu peux dire ce que tu veux, cependant, il y a des conséquences pour certaines choses que tu peux dire. Si tu avais l'habitude d'utiliser des propos haineux à l'école, ou au travail, tu étais puni pour ça. Dans beaucoup de pays, c'est même illégal de dire des remarques racistes.
Je ne vois pas comment ce système pourrait arrêter les mauvais comportements
Ce qu'il faut savoir sur le comportement des joueurs, est qu'il faut travailler sur un grand spectre de comportements différents. Il est impossible de prévenir à 100% les mauvais comportements, donc il faut des fonctionnalités pour "protéger" les autres joueurs des comportements négatifs quand ils se produisent, comme avec des systèmes comme le créateur d'équipe. Il faut aussi des systèmes pour sanctionner ou supprimer les plus mauvais comportements, car ils ne seront affectés par rien d'autre. Et finalement, il faut des manières de récompenser les comportements positifs, mais il faut être prudent afin que cela n'interfère pas avec les motivations des joueurs qui sont déjà positifs., car cela crée plus de mal que de bien.
Nous avons déjà des plans pour avoir le même système qui identifie les comportements positifs, et envoie aux joueurs des retours avec un petit prix. Nous allons aussi permettre au tribunal de juger les comportements positifs en plus de négatifs.
Comment un système automatisé peut-il avoir connaissance du contexte d'une discussion ?
Le contexte est l'une des choses les plus difficiles à résoudre pour les systèmes à base de machine learning, et c'est pour ça que nous travaillons le plus sur cette capacité. Il est capable d'apprendre au fil du temps aussi, donc, si "gg easy" devient une phrase positive dans le futur (Qui sait !), les joueurs ne seront plus puni pour cela. Nous espérons que le système atteindre un point où il pourra apprendre des phrases et leurs significations, ainsi que leur contexte, qui peut changer au fil du temps.
Est-ce que les bans actuels sont décidés uniquement à partir des données visibles dans les logs de chat ?
Non. Le système analyse le comportement envoyé dans les logs de chat directement, mais il regarde aussi l'historique du joueur pour déterminer s'il devrait appliquer une punition. Il est possible que certains joueurs n'aient aucun historique et reçoivent malgré tout un ban de 15j pour des propos inappropriés dans les premières semaines, mais la plupart auront déjà des comportements négatifs antérieurs.
Pourquoi directement des bans de 15j ?
Nous allons surveiller les effets de ces sanctions et voir si elles ne sont pas trop dures. Par le passé, nous utilisions des sanctions graduatives, qui allaient de l'avertissement jusqu'au permaban, et nous avons constaté que les joueurs ne réagissaient qu'aux avertissements et aux bans de 15j. Nous verrons sur les données continuent à être de ce genre, ou si nous devrions rétablir des sanctions intermédiaires.
Est-ce qu'il y a des conséquences pour les Rioters ? S'ils se retrouvent avec une messagerie restreinte par exemple ?
Les Rioters ont des comportements plus rigoureux que les joueurs à avoir. C'est tout ce que je veux dire.
Est-ce que les menaces de mort seront prises au sérieux par le système ?
Oui. C'est considéré comme l'une des offenses les plus sérieuses. Signalez-les, et envoyez des screenshots au support. Nous pensons également à ajouter un type de report spécial pour ce genre de problème pour aller plus loin avec ce genre de problèmes... Et nous punirions bien sûr les joueurs qui abuseraient de ce report.
Est-ce que ça ne va pas créer une mauvaise expérience pour les nouveaux joueurs, s'il y a beaucoup de joueurs bannis ?
Nous avons des moyens de séparer les joueurs toxiques qui créent de nouveaux comptes des vrais nouveaux joueurs.
Dans les logs de chat, on voit des propos normaux, comme "ty" ou "stay tuned". Ce n'est quand même pas toxique ça ?
Les logs de chat incluent tout ce qui a été dit pendant la partie, pas seulement ce que le système considère comme toxique.
Des logs de chat que j'ai pu voir pour le moment, il n'y a pas de racisme ou de menaces de mort...
La vaste majorité des cas avec du racisme ou des comportements graves ne seront pas postés, parce que les joueurs dans ce cas savent parfaitement que leur attitude est inadmissible, et n'ont aucune raison de la poster sur les forums. Tu risques surtout de voir des joueurs qui sont borderline et pensent qu'ils ne méritent pas de pénalités.
Est-ce que les répliques comme "gg ez" sont considérée comme négative par le système ?
Actuellement oui. En fait, c'est l'une des premières phrases et l'un des premiers contextes que le système a appris.
J'ai hâte de voir Riot faire machine arrière après avoir vu 50% de leurs joueurs bannis
Nous savons déjà combien de joueurs vont être affectés par ce système, et c'est très loin de 50%, même en Europe. Il y a juste une perception qui fait que le nombre de joueurs toxiques est élevé, mais franchement, ce genre de joueurs jouent en général en parties classées, et se réfèrent à un joueur dans une partie.
Est-ce qu'il y aura un système contre le spam punish dans le nouveau tribunal ?
Ces spammeurs n'ont jamais été un problème. Le système les ignorait, et cela n'a jamais affecté les cas. Dans le prochain tribunal, ce genre de votes seront à nouveau juste ignorés.
Avez-vous prévu de publier des articles avec plus de détails sur la toxicité et sur vos méthodes ?
La plupart de nos récents travaux sont en collaboration avec des laboratoires universitaire qui écrivent des documents, donc beaucoup finiront dans des articles de presse. Nous les mettrons peut-être sur notre site, mais je n'en suis pas sûr.
Est-ce que ce système ne fonctionne que sur League of Legends ?
Il a été conçu spécifiquement pour League of Legends, mais le concept lui-même pourrait être appliqué à n'importe quel jeu ou plateforme. Nous avons actuellement discuté avec d'autres studios et entreprises des méthodologies et des données, et cela génère beaucoup d'intérêt. En fait nous avons simplement partagé nos espoirs pour contribuer à faire d'internet un endroit meilleur.