Shadow ban : la menace fantôme

Fenêtre ouverte sur la culture internet

Bienvenue dans la neuvième édition de TL;DR. Un numéro qui arrive un peu tardivement car, jusqu’au début de ce mois d’octobre 2023, je voulais m’intéresser à Pinterest, après avoir lu cet été D’images et d’eau fraîche, un essai de Mona Chollet. Mais, comme le dit le cliché : l’actualité m’a rattrapée et je me suis dit qu’il y avait plus important.

Depuis le début de la guerre au Proche-Orient, je vois sur les réseaux sociaux de nombreux utilisateurs accuser les plateformes de limiter la portée de leurs messages. Cette censure en douce, c’est le shadow ban ou bannissement furtif en français.

Ce n’est pas la première fois que cette accusation de modération sournoise apparaît. Des féministes, aux pro-Trump, en passant par des influenceurs mode et beauté : la crainte d’être pénalisé, sans le savoir, par les algorithmes des réseaux sociaux touche tout le monde.

Théorie du complot ? Marginalisation mathématique ? Aujourd’hui, il est question de réalité et de récits autour des algorithmes des plateformes sociales.

Merci aux chercheurs en informatique et spécialistes des algorithmes en boîte-noire, Erwan Le Merrer - chercheur à l’Inria et Gilles Trédan - chercheur au LAAS- CNRS, d’avoir répondu à mes questions.

C’est quoi le bannissement furtif ?

Bannissement ou modération : quelle différence ?

Depuis l’attaque du Hamas contre Israël, la question de la modération des plateformes et de la lutte contre la désinformation revient au premier plan. Comment informer sur la situation dans Gaza assiégée, au milieu des coupures de communication ? Comment démêler les vidéos authentiques de celles venant d’autres conflits (ou même de jeux vidéo) ? Comment empêcher les discours de haine de se propager ? TikTok annonce avoir supprimé 500 000 vidéos enfreignant ses règles, Meta (qui contrôle Facebook, Instagram et Whatsapp) dit avoir modéré activement 795 000 posts violant ses règles d’utilisation depuis le 7 octobre.
On peut, avec le journaliste, Ryan Broderick, s’étonner de ces retournements après des années d’inaction. Mais ce n’est pas le sujet…

Pour modérer, les plateformes se référent à des règles explicites, même si elles sont changeantes. Le bannissement furtif, lui, ne dit pas son nom puisque l’utilisateur n’en est jamais averti et il est donc difficile à prouver.

Trois nuances de bannissement

Dans un article de 2021, Setting the Record Straighter on Shadow Banning¹, les chercheurs Erwan Le Merrer, Benoît Morgan et Gilles Trédan ont mis en lumière l'existence, à grande échelle, de comptes à la visibilité limitée artificiellement. Ils ont démontré que l’hypothèse du bug, avancée par l’entreprise, était peu plausible. Pour cela, leur étude s’est concentrée sur trois types de limitations sur Twitter, avec une gradation :

• Le bannissement des suggestions : le compte n’est jamais suggéré lorsque l’on tape le @ pour le citer ou le rechercher

• Le bannissement des résultats de recherche : la recherche même exacte, ne fait pas apparaître le profil

• Le bannissement fantôme : certains messages du compte n’apparaissent pas - y compris dans des réponses publiques.

En miroir, on peut retrouver une gradation similaire dans l’analyse d’un document interne de TikTok révélé par un lanceur d’alerte en 2019 indiquant que les contenus politiques étaient classés en trois catégories : non recommandés dans la page « Pour Toi », non visibles dans le fil, et visibles uniquement par soi :

« Le document montre que les modérateurs ne suppriment pas les contenus politiques et contestataires, mais qu'on leur demande d'empêcher ces vidéos de devenir populaires. » - Angie Chen, MIT Technology Review

Entretien avec Erwan Le Merrer et Gilles Trédan

Pourquoi avez-vous choisi d'étudier cette question du shadow banning plutôt que celle, plus large, de la modération des réseaux sociaux ?

Erwan Le Merrer et Gilles Trédan : Nos recherches portent sur un l'objet informatique que l'on surnomme les « boîtes-noires ». Cet objet sert à penser les algorithmes (ou modèles d'IA) qui sont mis par des plateformes face à leurs utilisateurs. Ces derniers ignorent tout de ces algorithmes; il est ainsi intéressant du point de vue de la recherche de comprendre ce que peuvent en dire ces utilisateurs, par simples observations répétées des résultats d'un algorithme (recommandation, acceptation d'un crédit, etc) en fonction des informations qu'ils ont fournies.

Ainsi, au moment de notre recherche concernant ce phénomène de « bannissement furtif », la presse semblait s'en émouvoir, alors que Twitter le décrivait comme un bug. Il nous a paru intéressant de montrer qu'il était possible d'en dire quelque chose de solide statistiquement parlant, c'est à dire d'étudier quantités d'observations de différents profils sur cette plateforme.

L'aspect crucial est de confronter les affirmations des opérateurs d'un algorithme en boîte-noire avec les traces laissées par celui-ci (par ses décisions de visibilité appliquées à ses utilisateurs). Le contexte du bannissement furtif est particulièrement difficile puisque son but même est d'être... furtif, au contraire d'une modération plus visible et intelligible. Dans ce contexte, obtenir une solidité statistique a un coût : celui de concentrer les recherches sur un phénomène très précisément défini, d'où le focus sur le bannissement furtif. (Et encore plus précisément sur quelques conséquences observables de techniques particulières de bannissement furtif !)

Depuis cette étude de 2021, avez-vous conduit d'autres recherches sur ce sujet ?

- Sur ce même sujet de la meilleure compréhension des algorithmes en boîte-noire, nous nous sommes ensuite intéressés à l'algorithme de recommandation de YouTube. Celui-ci a un impact majeur sur la vie de ses utilisateurs, car il « décide » de ce qu'ils seront amenés à voir ensuite sur la plateforme.

Nous avons dans ce contexte cherché comment mesurer et automatiser la détection de bulles de filtre, c'est à dire de recommandations hyper spécialisées à un utilisateur donné, l'enfermant ainsi dans une bulle virtuelle en comparaison de ce que verraient ses congénères : https://hal.science/hal-03620039/file/main-snam-final.pdf

Nous avons aussi profité de cette instrumentation pour étudier les recommandations politiques de YouTube pendant la précédente campagne présidentielle : https://theconversation.com/peut-on-faire-des-sondages-politiques-avec-youtube-186067

Le Monde rapporte que TikTok et Instagram ont fait l'objet d'accusations de shadow banning depuis le début de la guerre Israël-Hamas, en particulier de la part de comptes propalestiniens. Meta a expliqué qu'il s'agissait de bugs. Quelle lecture avez-vous de la résurgence de ce débat ?

- Ces débats ne feront que se répéter tant qu'il n'y aura pas une plus grande compréhension des mécanismes à l'œuvre dans la modération ou le choix des sujets mis en avant. On ne peut pas demander à un utilisateur qui fait face à une forme d'oracle de ne pas chercher à comprendre le pourquoi de certaines décisions de celui-ci ou de questionner sa neutralité. Quelle plateforme peut se dire neutre ?

Comment, selon vous, les utilisateurs pourraient avoir plus confiance dans les réseaux sociaux et leurs algorithmes ?

- À la lumière du point précédent, seule une transparence réelle sur le fonctionnement des algorithmes pourrait aider en ce sens. Une transparence radicale serait l'accès en « boîte-blanche » au code et données de ces algorithmes, ce qui permettrait à certains experts d'identifier des biais ou problèmes; c'est évidement difficile pour les entreprises de tolérer un tel accès.

Une autre étape plus réaliste serait une régulation étatique ou supra-étatique (par exemple avec le Digital Services Act européen²) imposant de réels moyens d'inspection et/ou de tests sur des zones problématiques de décisions de ces algorithmes. Le degré d'inspection est une décision purement politique, dans un bras de fer entre les entreprises et la société.

Enfin, une approche plus pragmatique et collective est le lancement d'alertes des utilisateurs eux-mêmes, par recoupement des observations qu'ils font des décisions qui leur sont faites. Il reste beaucoup à faire pour structurer cette thématique pour qu'elle devienne un levier efficace d'action.

Est-ce qu'il y a une question que je n'ai pas posée ou quelque chose que vous souhaitez ajouter ?

Bannissement furtif, choix de recommandations, octroi de crédits, les algorithmes que nous utilisons ont de puissants impacts sur notre société et ses membres. Même si les algorithmes sont des objets techniques, la régulation de leurs impacts est une question politique. Cependant, pour que cette régulation soit efficace, il faut des moyens techniques et objectifs pour observer et qualifier ces impacts, et c'est ce que nous cherchons à construire dans nos approches dites d'audits algorithmiques.

Avez-vous une recommandation facile d'accès à lire, à regarder ou à écouter sur ce sujet pour les lecteurs de la newsletter ?

Le projet TheirTube de la fondation Mozilla est une façon simple et ludique pour chacun de se rendre compte de l'enfermement dans des bulles de filtres (i.e. de recommandations), par ces algorithmes en boîte-noire. Une façon de saisir que le prisme des algorithmes « personnalise » de plus en plus intensément, et qu'il en résulte une séparation de l'expérience et du ressenti en ligne des internautes. Avec les impacts sociétaux bien décrits aujourd'hui.

• https://www.their.tube

• https://foundation.mozilla.org/en/youtube/findings

• Le blog de l'ONG AlgorithmWatch (En, De) recèle de nombreux articles intéressants autour des problématiques liées aux algorithmes et aux plateformes :

  https://algorithmwatch.org/

---

Tout et son contraire

💡 Algorithmes, algospeak et canular

Il faut donc s’intéresser à la réponse politique à apporter à ces algorithmes en boîte-noire, et pouvoir étudier les discriminations issues de « la vraie vie » qu’ils peuvent aggraver.

On peut aussi s’intéresser à la créativité des utilisateurs face à eux. Il y a ceux qui inventent un langage codé pour tromper les algorithmes : avec l’algospeak - les défenseuses de l’avortement défendent le droit de camper et les travailleurs du sexe deviennent des comptables pour déjouer les algorithmes sur TikTok. Et mon expérience préférée à ce jour, même si elle est peu différente car les algorithmes de Parcoursup sont publiés, c’est celle de la lycéenne qui a candidaté en 2022 avec une recette d’un gâteau béarnais en guise de lettre de motivation (et qui a été acceptée !) :

@_lucielee#collage avec @_lucielee l’update

Tiktok failed to load.

Enable 3rd party cookies or use another browser

---

1. Erwan Le Merrer, Benoît Morgan, Gilles Trédan. Setting the Record Straighter on Shadow Banning. INFOCOM 2021 - IEEE International Conference on Computer Communications, IEEE, May 2021, Virtual, Canada. pp.1-10, ff10.1109/INFOCOM42981.2021.9488792ff. ffhal-03234771f

2. À lire sur France Info : Sept questions pour comprendre le Digital Services Act, qui va désormais encadrer les géants du web