B. DES CONTENUS DANGEREUX OU INAPPROPRIÉS POUSSÉS PAR L'ALGORITHME
1. Les contenus liés aux désordres alimentaires et au suicide davantage proposés aux personnes les plus vulnérables
Une étude du Center for Countering Digital Hate a publié en décembre 2022 une étude sur la présence de contenus dangereux sur TikTok212(*). Le centre a créé plusieurs comptes sur l'application aux États-Unis, au Royaume-Uni, au Canada et en Australie. Un profil des utilisateurs a été défini : l'utilisateur était censé avoir 13 ans et il portait une attention un peu plus marquée aux contenus liés à l'image de soi (body image) et aux enjeux de santé mentale (mental health). En défilant le fil « Pour Toi », ces comptes marquaient une légère pause sur ces contenus.
Il est ressorti de cette étude qu'au bout de 2,6 minutes en moyenne, TikTok recommandait à ces comptes des vidéos sur le suicide. Au bout de 8 minutes, l'application proposait des contenus sur les troubles alimentaires (eating disorders). Enfin, toutes les 39 secondes, des recommandations de vidéos sur l'estime de soi et la santé mentale apparaissaient. Par rapport à des utilisateurs standards, les profils se voyaient proposer 12 fois plus de vidéos liées aux suicides.
Cette étude semble ainsi bien établir le fait que les personnes vulnérables se voient proposer davantage de contenus dangereux. L'enfermement dans ses préférences, désigné par le phénomène de « bulles de filtres », peut alors être particulièrement nocif. Le produit, en lui-même, serait ainsi dangereux (« by design »).
Ainsi, non seulement l'application capte fortement l'attention, conduisant ses utilisateurs à y passer de longs moments, mais ce temps passé serait dangereux pour les personnes les plus vulnérables.
2. Les défauts de modération face à la multiplication des challenges dangereux sur l'application
De nouveaux défis dangereux sont régulièrement mis en avant sur TikTok et constituent parmi les contenus les plus viraux sur l'application.
Après les « Momo challenge » (qui pousse les enfants à des actions violentes), « Labello Challenge » (qui incite à la scarification) ou encore « Blackout Challenge » (qui consiste à retenir sa respiration jusqu'à l'évanouissement), le défi de la cicatrice, consistant à se pincer très fort la joue pour laisser une trace, était ainsi particulièrement populaire sur l'application en 2023, cumulant en France plusieurs centaines de milliers de vues213(*).
La présence de challenges sur TikTok n'est pas étonnante, l'application ayant été à l'origine conçue pour se lancer des défis, notamment des défis de danse. Mais ces challenges prennent de plus en plus la forme de jeux aux conséquences potentiellement dramatiques. En Italie, une fillette de 10 ans est ainsi morte asphyxiée en janvier 2021 après avoir participé sur TikTok à un « Blackout challenge », soit l'équivalent du « jeu du foulard ».
Considérant ce drame non comme un acte isolé mais comme le résultat d'un défaut de modération par TikTok, l'Autorité italienne pour la protection des données personnelles a alors bloqué le réseau social pour les utilisateurs n'étant pas en mesure de prouver qu'ils ont l'âge minimal requis par l'application pour s'inscrire (13 ans). Cette fermeture prenait effet immédiat, jusqu'au 15 février 2021, date à laquelle TikTok devait avoir répondu aux injonctions de l'Autorité italienne. Suite à cette affaire, une enquête pour « incitation au suicide » a été ouverte par le parquet de Palerme.
Après avoir longtemps refusé de communiquer sur ces sujets, TikTok a publié en novembre 2021 un rapport sur l'impact de ces challenges214(*). Minimisant leurs conséquences, la société affirme que 48 % des adolescents interrogés dans leur étude estiment que les challenges auxquels ils ont été confrontés étaient « amusants » et « légers ». Seuls 17 % d'entre eux considèrent qu'ils étaient risqués et dangereux, dont 3 % les trouvent très dangereux. TikTok concédait seulement qu'une majorité d'adolescents manquait d'informations sur la dangerosité des challenges.
Interrogée sur ce sujet, Mme Marlène Masure, directrice générale des opérations de TikTok France, assure que les « équipes de modération sont mobilisées dès qu'un défi dangereux émerge »215(*) grâce aux signalements effectués par des associations comme E-enfance. Elle indique que la force de l'application est sa « capacité à réagir très rapidement sur ces sujets » et à fournir « des ressources pour accompagner les jeunes sur la dangerosité de ces défis ».
L'Autorité de la concurrence italienne ne parait pas convaincue par ces assurances puisqu'elle a ouvert en mars 2023 une enquête contre TikTok Irlande, accusant la société de ne pas appliquer ses propres règles de contrôle des « contenus dangereux incitant au suicide, à l'automutilation et aux désordres alimentaires »216(*). L'Autorité italienne reproche à TikTok de ne pas avoir mis en place des systèmes adéquats de surveillance des contenus, « en particulier en présence d'usagers particulièrement vulnérables comme des mineurs ».
L'ouverture de l'enquête a été motivée par la présence sur la plateforme de nombreuses vidéos d'enfants s'automutilant, le challenge de la cicatrice (dénommée « cicatrice francese » en raison de son origine française) étant devenu viral. Aujourd'hui encore, ces vidéos sont toujours visibles sur TikTok alors même que les règles communautaires de l'application interdisent « d'exposer, de promouvoir ou de partager des projets (...) d'automutilation »217(*).
Enfin, comme sur d'autres plateformes, il existe également un risque pour les jeunes utilisateurs au cours de discussions sur la messagerie de l'application, d'être attirés dans des discussions privées sur d'autres messageries par des personnes malveillantes.
3. Une politique de modération ambiguë sur les contenus « hypersexualisés »
Si les règles communautaires de TikTok bannissent en principe les contenus à caractère sexuel, force est pourtant de constater que des contenus « para-sexuels » s'y trouvent en quantité, sans être toujours retirés.
Une étude Bloomberg de décembre 2022218(*) a étudié la présence de ces contenus sur l'application. Le contenu hypersexualisé d'adolescentes prolifère sur toutes les plateformes. Mais il apparait que sur TikTok, de plus en plus de jeunes créatrices publient du contenu suggestif à caractère sexuel, parfois avec l'approbation parentale.
L'étude cite ainsi le cas d'une jeune Américaine, Mme Roselie Arritola, qui compte des vidéos à près de 7 millions de vues. Sa popularité découle en partie de vidéos hypersexuelles - ce qu'elle décrit comme du « contenu choc » - dans lesquels elle « twerke », notamment en bikini string. En 2021, des marques de mode, désireuses de capitaliser sur son « sex-appeal » l'ont rémunérée pour porter leurs vêtements.
Les équipes « Trust & Safety », dont le travail consiste à modérer le contenu de la plateforme, ont fini - après de nombreuses plaintes - par désactiver ce compte en janvier 2021. Deux semaines après la désactivation, le compte a été réactivé. En mai, il a été de nouveau fermé puis réactivé.
Pour Bloomberg, cette affaire illustre l'ambiguïté de la politique de modération de TikTok s'agissant des contenus « para-sexuels » des adolescents. D'une part, les règles de l'application empêchent bien en principe la publication de contenus sexuels, a fortiori de mineurs. Mais d'autre part, ces contenus ayant du succès, TikTok aurait intérêt à adopter une modération laxiste en la matière.
Bloomberg pointait ainsi que la distinction retenue par les équipes de modérateurs entre contenus destinés ou non à être suggestifs restait très délicate à mettre en oeuvre. Elle le serait d'autant plus que les modérateurs seraient censés examiner 1 000 vidéos par jour et ont moins de 20 secondes pour porter un jugement. Réaliser un examen dans ces conditions s'avère difficile. Selon les témoignages recueillis par Bloomberg, les équipes seraient même incitées à « laisser tomber en cas de doute » et à être « indulgents » envers les créateurs dont les vidéos dépassent 5 millions de vues219(*).
* 212 Center for Countering Digital Hate, Deadly by design, décembre 2022.
* 213 BFM Tech and Co, Qu'est-ce que le dangereux défi de la "cicatrice", dont TikTok diffuse massivement les vidéos ?, 13 février 2023.
* 214 Helping our community stay safe while having fun on TikTok, 17 novembre 2021.
* 215 Audition Marlène Masure, 8 juin 2023.
* 216 Autorita' Garante della Concorrenza e del Mercato, Avviata istruttoria nei confronti di TikTok per la sfida “cicatrice francese”, 21 mars 2023.
* 217 Règles communautaires de TikTok, Sécurité et bien être des jeunes, mis à jour en mars 2023.
* 218 TikTok's Problem Child Has 7 Million Followers and One Proud Mom, Bloomberg 2022.
* 219 “Moderators were trained to adopt an “if in doubt, leave it up” mantra, and four trust and safety policy leaders recall being asked to be lenient on creators with more than 5 million followers”.