La refonte du tribunal approche, et passe par des préliminaires, comme ce nouveau système de retours sur les comportements. Destiné aux attitudes les plus graves, comme l'homophobie, le racisme, le sexisme, les menaces de mort, etc... Il sera en mesure de donner au joueur concerné ses logs de chat, ainsi qu'une sanction appropriée.
L'idée est de donner un retour rapide au joueur qui aurait eu un mauvais comportement. Une chose plutôt logique dans la mesure où la faiblesse de l'ancien système était le temps de traitement des données, qui avait pour conséquence de ne parfois donner une sanction qu'au bout de plusieurs semaines, et de laisser penser à un joueur qu'il n'avait jamais commis les actes qu'on pouvait voir dans ses logs de chat.
Avec ce système, Riot continue dans la direction du machine learning, une direction qui était déjà présente avec les restrictions de messagerie et de parties classées, et les logs de chats ajoutés par ce système devraient résoudre beaucoup de problèmes de compréhension.
Quoiqu'il en soit, voici l'annonce officielle, ainsi qu'un échange de questions/réponses avec Lyte.
L'annonce
Lorsqu'une attitude négative se produit, nous savons que plus vite un joueur reçoit un retour sur ce comportement, plus grandes sont les chances qu'il change. Avec cela en tête, nous réalisons et itérons sur un nouveau système de retours instantanés qui donne des feedbacks et une sanction appropriées aux joueurs qui en ont le plus besoin. par la suite, nous prévoyons d'instaurer le même système pour récompenser les joueurs, mais pour l'heure, nous nous focalisons sur les feedbacks et les sanctions.
Les premiers tests du système commencent aujourd'hui sur les serveurs Américains, et viseront les harcèlements verbaux. Le système envoie aux joueurs des notifications avec un lien vers le comportement négatif et la punition appropriée, qui les aident à corriger leur mauvais comportement. Vos reports aident le système à comprendre et à punir le type d'attitude que la communauté rejette activement : Homophobie, racisme, sexisme, menaces de mort, et d'autres formes d'abus excessifs. Ces communications néfastes seront punies avec des bans de 2 semaines, ou des permabans dans les 15min suivant la fin de la partie. Voici comment le système fonctionne :
- Les équipiers ou les adversaires du joueur négatif envoient des reports, et le système les vérifie pour s'assurer qu'ils ne sont pas injustifiés.
- Le système examine le cas, et détermine si le comportement nécessite un rejet ou une punition basée sur le comportement standard accepté par la communauté
- Le système crée un lien via un email, permettant le partage des logs de chat du joueur concernés (Les pseudos des autres joueurs et leurs logs de chat ne sont pas affichés), et de la sanction reçue pour ce comportement.
L'équipe en charge des comportement des joueurs vérifiera manuellement les quelques milliers de premiers cas que le système traite. Si tout se passe comme prévu, nous espérons lancer ce système dans toutes les régions rapidement. Comme nous l'avons mentionné plus haut, ce test marque le début des feedbacks instantanés. Ces améliorations permettront plus de reconversions, et récompenserons les comportements positifs. Voici un aperçu de ce qui est prévu :
- Logs de chat directement dans le client
- Notifications pour les joueurs qui ont signalé un autre joueur qui a été puni
- Améliorations pour les restrictions de messagerie et de parties classées
- Améliorations pour reconnaître les comportements comme le feed intentionnel
- Récompenses pour les comportements et communications positives
Questions/Réponses
Un système automatique m'inquiète...
Je pense qu'il y a un problème de perception avec les systèmes "automatiques". Par exemple, quand on pense à des systèmes qui nécessitent une très grande sécurité comme les cartes de crédits, ils utilisent beaucoup de systèmes automatiques, mais on ne pense pas vraiment à leur précision. Dans certains domaines scientifiques, un taux d'erreur de 1% est considéré comme exceptionnel, même si c'est dans un domaine avec des risques plus élevés comme la médecine.
Chez Riot, nous voulons nous assurer que les joueurs n'ont jamais à s'inquiéter des systèmes de sanctions s'ils sont neutres ou positifs. Donc, chaque système que nous lançons doit avoir un taux d'erreur inférieur à 0.1%, ou nous ne le lancerons pas. Dans la première bêta des nouveaux systèmes de reconversion, nous avions des équipes dédiées à la relecture de milliers de cas, et avons trouvé en général une erreur tous les 6000 cas. Puisque la communauté de League of Legends est massive, cela représente malgré tout un grand nombre de joueurs, et nous avons des systèmes et des équipes en place pour corriger une pénalité injustifiée dès qu'elle est détectée, et l'email envoyé au joueur contient des instructions et un lien pour contacter le support. En clair, le système n'est pas parfait, mais il est suffisamment fiable pour un lancement à grande échelle.
Pourquoi ne pas mettre en place une relecture manuelle ?
Nous avons déjà effectué une phase de test où des équipes du support et du comportement des joueurs étaient ensemble pour vérifier chaque cas manuellement.
Pour continuer dans cette direction, nous allons utiliser une technique appelée "Échantillon aléatoire", où nous allons récupérer un certain nombre de cas dans le système pour les vérifier manuellement, ce qui nous donnera une représentation de la précision du système sans avoir à vérifier chaque cas.
Avec cette technique, nous pouvons cibler des punitions plus sérieuses, et les vérifier plus régulièrement dans la mesure où il y a un impact plus grand s'il y a des erreurs.
Est-ce qu'il y a une différence entre un report "de mauvaise foi" et un report "de bonne foi mais qui ne mérite pas une punition" pour le système ?
Oui, le système vérifie chaque report, et les injustifiés sont ignorés. Si le joueur qui a envoyé le report en fait généralement des corrects, mais que le système ne pense pas que le comportement mérite une punition, alors ces reports vont "s'accrocher" au joueur signalé, et pourront affecter les prochaines vérifications du joueur.
Pourquoi faire le choix du machine-learning ?
La raison pour laquelle nous choisissons cette approche est qu'il est très difficile de contourner ce genre de système, parce que chaque report et honneur envoyé apprend au système les changements dans les différents langages. Le système peut donc s'adapter avec les nouvelles phrases, et comprendre plus rapidement que ce qu'une équipe composée d'humains serait capable de faire.
Par la suite, quand les joueurs pourrons de nouveau voter au tribunal pour juger les comportements négatifs, neutres ou positifs, le système apprendra également des résultats des jugements pour mieux comprendre les comportements des joueurs.
Est-ce que le système ne risque pas de se tromper si on est signalé avec des insultes qui n'étaient pas dans un contexte négatif ?
Le système ne va pas forcément se concentrer sur les insultes. Si tu dis quelque chose comme "Fuck, I missed that skillshot", il n'y aura pas de problème en général. Mais si tu dis "Fuck you, you missed that skillshot", alors il se peut que tu sois puni parce que cela cible quelqu'un.
Nous l'avons mentionné par le passé, mais 95% des joueurs ne seront jamais exposés à une sanction dans leur vie de joueur de League of Legends. Si tu es neutre ou positif, tu n'as réellement aucun souci à te faire, vis-à-vis d'aucun des systèmes.
Quelles régions sont concernées ?
Nous surveillons le déploiement sur les serveurs NA, et travaillerons sur l'Europe demain. Les autres régions devraient suivre la semaine suivante si les tests se déroulent bien.
Est-ce que le système sera capable de faire la différence entre des jokes entre amis et des offenses ?
Cela dépend de la configuration de l'équipe. Si tu es dans une premade de 5, tu peux plaisanter autant que tu veux. Par contre, s'il y a une personne qui ne fait pas partie du groupe, et pourrait mal prendre une "blague", mieux vaut éviter ça.
Est-il prévu quelque chose pour les sélection de champions en parties classées ?
Nous travaillons sur un créateur d'équipe pour le mode draft, qui devrait résoudre la plupart des problèmes de la sélection des champions. S'ils persistent, nous avons également considéré quelques concepts pour signaler des attitudes spécifiques pendant la sélection des champions.
Pourquoi un créateur d'équipe en partie classées ? Le but de ces partie n'est-il pas d'avoir de la diversité dans les rôles qu'on joue ?
Je pense que les joueurs ont un modèle en tête de ce à quoi le créateur d'équipe pour les parties draft ressemble, donc ils s'inquiètent de ce genre de choses.
Un des buts du système est d'augmenter la diversité, et de donner aux joueurs plus de raisons d'être talentueux sur de multiples positions. Donc non, je ne pense pas que ce genre de problème apparaitra. Nous en parlerons davantage plus tard.
[sexypolling id="31"]
Note de Philidia :
Le machine learning est un domaine complexe, que beaucoup de personnes ne connaissent pas, alors qu'ils le côtoient tous les jours. Ce n'est pas une fatalité, mais je pense vraiment que s'y intéresser, et comprendre son fonctionnement permet de comprendre à quel point le potentiel des systèmes l'utilisant correctement est grand.
Par chance, mon véritable travail m'amène à tester ce genre de systèmes, et sur la sphère LoLTracker, j'aimerais essayer d'en développer un pour un projet ultérieur. Et si ça vous intéresse qu'on discute de leur fonctionnement dans divers domaines, et de leur utilité ainsi que de leur potentiel, alors je peux préparer un de mes gros dossiers pour vous expliquer plus en détail tout ça. Par contre vous me connaissez, j'attache beaucoup d'importance au sérieux et à l'irréprochabilité de mes dossiers, donc ça ne se fera pas en quelques jours !