Deux pères de famille américains ont été soupçonnés, à tort, de pédophilie, pour avoir pris en photographie, à la demande de médecins, le sexe de leurs enfants. Google a bloqué leurs comptes, et entend bien les supprimer définitivement, quand bien même les deux pères ont depuis été innocentés par la police.

Alors que le projet de règlement CSAM (pour « Child sexual abuse material », ou « Matériels d’abus sexuels d’enfants », expression qui a vocation à remplacer le terme erroné de « pédopornographie ») veut obliger les « fournisseurs des services » à signaler les abus sexuels potentiels sur mineurs (voir notre explication ligne par ligne), le New York Times raconte l'histoire kafkaïenne vécue par deux pères de famille soupçonnés, à tort, par Google, de pédophilie : 

« Google dispose d'un outil automatisé pour détecter les images abusives d'enfants. Mais le système peut se tromper, et les conséquences sont graves. »

Mark, qui a demandé à ne pas être identifié pour éviter tout risque de dommage réputationnel du fait de cette mésaventure, avait constaté que le pénis de son fils avait gonflé.

Il l'avait donc pris en photo, pour pouvoir suivre et documenter l'évolution du problème. En prévision d'une téléconsultation vidéo (l'histoire remonte à février 2021, en plein confinement), l'infirmière demanda à sa femme d'envoyer des photos au médecin, pour tenter d'identifier les symptômes du problème.

Ce qu'elle fit, avec le portable de son mari, envoyant plusieurs gros plans par MMS : « sur l'une d'elles, la main de Mark était visible, ce qui permettait de mieux visualiser le gonflement », précise le New York Times : 

« Avec l'aide des photos, le médecin a diagnostiqué le problème et prescrit des antibiotiques, qui l'ont rapidement guéri. Mais cet épisode a laissé à Mark un problème bien plus important, qui lui a coûté plus d'une décennie de contacts, d'e-mails et de photos, et qui a fait de lui la cible d'une enquête de police. »

Google pense probablement que je suis pédophile

Mark, dont le téléphone Android stockait les photos dans le nuage de Google, reçut deux jours plus tard une alerte sonore lui indiquant que son compte avait été désactivé en raison d'un « contenu préjudiciable » qui constituait « une violation grave des règles de Google et pouvait être illégal ». 

Un lien « en savoir plus » le renvoyait à une liste de raisons possibles, dont « abus et exploitation sexuels d'enfants ».

Mark, qui est par ailleurs ingénieur logiciel, et qui avait en outre été amené à travailler sur un outil automatisé destiné à traiter les contenus vidéo signalés par les utilisateurs comme problématiques, fit rapidement le lien avec les photos du pénis de son fils : « Oh mon Dieu, Google pense probablement que c'était de la pornographie enfantine », raconte-t-il au New York Times.

Il fit appel de la suspension de son compte, expliquant les problèmes de santé de son fils, mais quelques jours plus tard, Google lui notifia une fin de non-recevoir : 

« Mark ne le savait pas, mais l'équipe de révision de Google avait également signalé une vidéo qu'il avait réalisée et la police de San Francisco avait déjà commencé à enquêter sur lui. »

Deux gouttes d'eau dans un grand seau

Dans le même temps, Mark n'avait plus accès à ses courriels, son carnet d'adresses, ses photos stockées dans le cloud, son numéro de téléphone (il était abonné à Google Fi, l'opérateur mobile virtuel du groupe Alphabet), et découvrait « l'effet domino d'avoir été rejeté par Google ».

Faute de pouvoir accéder à son adresse email et à son numéro de téléphone, il ne pouvait plus non plus obtenir les codes de sécurité lui permettant de se connecter à ses autres comptes, « le privant d'une grande partie de sa vie connectée ».

Kashmir Hill, la journaliste du New York Times, raconte avoir identifié au moins un autre cas similaire. À la demande d'un pédiatre, Cassio avait, lui aussi, pris en photo les parties intimes de son enfant, elles aussi sauvegardées dans Google Photo.

Sauf que Cassio était en parallèle en passe d'acheter une maison, et que la brusque fermeture de son compte Google a transformé en « véritable casse-tête » l'obtention de son emprunt immobilier.

« En 2021, Google a enregistré à lui seul plus de 600 000 signalements de matériel pédopornographique et a désactivé les comptes de plus de 270 000 utilisateurs en conséquence », précise le New York Times : « les expériences de Mark et de Cassio étaient des gouttes d'eau dans un grand seau ».

29 millions de rapports, 4 260 nouvelles victimes potentielles

Google a en effet développé un outil reposant sur l'intelligence artificielle afin d'identifier les images d'abus et d'exploitation d'enfants. Rendu public en 2018, il permet non seulement de reconnaître les empreintes d'images d'enfants abusés d'ores et déjà identifiées par les autorités, mais également celles qui ne l'ont pas encore été.

Et c'est cet outil, par ailleurs utilisé par Facebook et d'autres entreprises, qui a identifié les photos de Mark et de Cassio comme potentiellement problématiques. Elles auraient ensuite été transmises à un modérateur, afin qu'il confirme qu'elles relèveraient bien de « la définition fédérale de matériel pédopornographique » :

« Lorsque Google fait une telle découverte, il verrouille le compte de l'utilisateur, recherche d'autres contenus abusifs et, comme l'exige la loi fédérale, fait un rapport au CyberTipline du National Center for Missing and Exploited Children. »

Cette organisation à but non lucratif est devenue le centre d'échange d'informations sur les abus, explique le New York Times. L'an passé, elle a ainsi reçu plus de 29 millions de rapports, soit environ 80 000 par jour.

La plupart ont déjà été signalées, mais continuent à circuler. Ses 40 analystes se concentrent donc plutôt sur les nouvelles victimes potentielles, afin de pouvoir alerter les autorités, identifier les enfants et les mettre hors de danger.

Ils rajoutent également les nouvelles images à la base de données des empreintes de celles qui ont d'ores et déjà été identifiées. Ce qui pourrait entraîner les médecins ayant demandé les photos, ainsi que les mères des enfants concernés, à pouvoir, eux aussi, être ainsi qualifiés d'abuseurs potentiels, et voir leurs comptes fermés.

Le New York Times raconte d'ailleurs que la femme de Mark s'est empressée d'effacer les photos du pénis de son fils de son iPhone, alors qu'Apple a, lui aussi, annoncé l'an passé qu'il prévoyait d'analyser les photos sur iCloud.

En 2021, le CyberTipline explique avoir alerté les autorités sur « plus de 4 260 enfants nouvelles victimes potentielles », dont ceux de Mark et Cassio, précise le New York Times.

Quelques jours pour être dénoncés, des mois pour être innocentés

En décembre 2021, soit 10 mois après avoir pris les photos litigieuses, Mark recevait un courrier du département de police de San Francisco l'informant qu'il avait fait l'objet d'une enquête : 

« Un enquêteur, dont les coordonnées étaient fournies, avait demandé tout ce que contenait le compte Google de Mark : ses recherches sur Internet, l'historique de sa localisation, ses messages et tout document, photo et vidéo qu'il avait stocké auprès de la société. »

Mark contacta l'enquêteur, qui lui confirma que l'enquête était close, tout en précisant qu'il avait tenté, en vain, de le contacter sur son numéro de téléphone et via l'adresse email qui avaient donc été bloqués par Google.

Mark lui demanda à son tour de contacter Google afin de l'informer qu'il était innocent de ce dont il avait été soupçonné, et de sorte de récupérer ses comptes. « Il n'y a rien que je puisse faire », lui opposa l'officier.

Après avoir de nouveau fait appel, Mark reçut deux mois plus tard, soit un an après le début de l'affaire, une nouvelle fin de non-recevoir de la part de Google, l'informant que son compte serait définitivement supprimé.

Après en avoir discuté avec son avocat, Mark a finalement estimé que cela ne valait pas les 7 000 dollars qu'une telle procédure risquait de lui coûter.

Convoqué par la police, Cassio a pu montrer au policier qui enquêtait sur lui que les photos avaient été réclamées par le pédiatre, et a, lui aussi, été innocenté quelques mois après le signalement de Google.

Mais lui non plus n'a pu récupérer l'accès à son compte « vieux de 10 ans, et bien qu'il soit un utilisateur payant des services Web de Google ».

Ne prenez pas de photos des parties génitales de vos enfants

Kate Klonick, professeure de droit à l'université St. John's, qui a travaillé sur la modération de contenu et la gouvernance privée de la liberté d'expression en ligne, explique au New York Times que les faux positifs, où des personnes sont signalées par erreur « sont inévitables étant donné les milliards d'images scannées » : 

« Ce serait problématique s'il ne s'agissait que de modération de contenu et de censure. Mais c'est doublement dangereux dans la mesure où cela aboutit également à ce que quelqu'un soit signalé aux forces de l'ordre. »

Mais cela aurait pu être pire, précise-t-elle, évoquant le risque de perdre la garde de son enfant, ou encore l'instrumentalisation que pourrait en faire une mère découvrant que son conjoint est accusé d'avoir abusé de leur enfant : « Vous pouvez imaginer comment cela pourrait dégénérer ».

Le docteur Suzanne Haney, présidente du Conseil de l'Académie américaine de pédiatrie sur la maltraitance et la négligence envers les enfants, déconseille pour sa part fortement aux parents de prendre des photos des parties génitales de leurs enfants, « même sur les conseils d'un médecin » : 

« Un enfant ne peut et ne doit pas se sentir à l'aise avec quelqu'un qui photographie ses organes génitaux. Si vous devez absolument le faire, évitez de les télécharger sur le cloud et supprimez-les immédiatement. »

Si seulement nous avions dormi en pyjama...

Le New York Times rappelle qu'en matière d'apprentissage automatique, les algorithmes d'intelligence artificielle sont entraînés à reconnaître les « bonnes » informations et à discriminer les « mauvaises », de sorte d'éviter les « faux positifs » et « faux négatifs » : 

« Pour éviter de signaler des photos de bébés dans le bain ou d'enfants courant nus dans des jets d'eau, l'IA de Google chargée de reconnaître les abus a été entraînée à la fois avec des images de matériel potentiellement illégal trouvées par Google dans le passé dans des comptes d'utilisateurs, ainsi qu'avec des images qui n'indiquaient pas d'abus, afin de lui donner une idée plus précise de ce qu'il fallait signaler. »

Kashmir Hill, qui a vu les photos que Mark avaient prises de son fils, estime que « la décision de les signaler était compréhensible : ce sont des photos explicites des organes génitaux d'un enfant. Mais le contexte est important : elles ont été prises par un parent inquiet pour son enfant malade ». 

« Nous reconnaissons qu'à l'ère de la télémédecine et en particulier dans le contexte du Covid, il a été nécessaire pour les parents de prendre des photos de leurs enfants afin d'obtenir un diagnostic », reconnaît Claire Lilley, responsable des opérations de sécurité des enfants chez Google. 

L'entreprise a d'ailleurs consulté des pédiatres, précise-t-elle, afin que ses modérateurs puissent reconnaître les caractéristiques qui pourraient apparaître sur des photos prises pour des raisons médicales.

Mais Lilley explique que les modérateurs de Google n'ont pas identifié d'éruption cutanée ou de rougeur sur les photos du pénis du fils de Mark, mais également que l'examen de son compte leur avait permis d'identifier une vidéo d'un jeune enfant couché dans son lit avec une femme dévêtue, et elle aussi considérée comme problématique.

« Nous nous sommes réveillés un matin. C'était une belle journée avec ma femme et mon fils et je voulais enregistrer le moment », précise Mark : « Si seulement nous avions dormi en pyjama, tout cela aurait pu être évité ».

Une porte-parole de Google a déclaré au New York Times que la société maintenait ses décisions, même si les forces de l'ordre avaient innocenté les deux hommes. Tout ne serait peut-être pas perdu, conclut cela dit le New York Times : 

« Mark a toujours l'espoir de pouvoir récupérer ses informations. La police de San Francisco a conservé le contenu de son compte Google sur une clé USB. Mark essaie maintenant d'en obtenir une copie. Un porte-parole de la police a déclaré que le département était impatient de l'aider. »

Cassio, lui, a depuis pris l'habitude de sauvegarder régulièrement ses données.

Des millions de messages faussement signalés

Réagissant à l'article du New York Times, l'Electronic Frontier Foundation estime que des centaines, « voire des milliers » d'autres utilisateurs des services de Google pourraient eux aussi avoir ainsi été accusés, à tort.

L'ONG relève en outre qu'une étude de Facebook portant sur 150 comptes ayant été signalés aux autorités pour CSAM présumé a révélé que 75 % des comptes envoyaient des images « non malveillantes ». LinkedIn a de son côté découvert que seuls 31 des 75 comptes signalés aux autorités de l'UE au cours du second semestre 2021 avaient réellement partagés des contenus CSAM confirmés.

Citant un récent billet de la commissaire européenne Ylva Johnasson affirmant que les scanners de CSAM ont des taux de précision « nettement supérieurs à 90 % », l'EFF souligne que « si des milliards de messages privés dans l'UE sont scannés avec un taux de faux positifs "supérieur à 90 %", cela se traduira par des millions de messages faussement signalés » : 

« Cette avalanche de faux positifs sera un désastre humanitaire, même dans les démocraties riches dotées d'un État de droit, sans parler des autocraties et des démocraties rétrogrades, qui exigeront des systèmes similaires. Les défenseurs de ces systèmes soulignent les méfaits très réels du CSAM, et certains soutiennent que les faux positifs – ceux qui entraînent des rapports erronés comme ceux de l'article – sont des dommages collatéraux acceptables.  »

De la banalisation du partage de sextos entre ados

Dans la note adressée à la Commission européenne au sujet de la surveillance et de la notification des abus sur mineurs, Google évoquait de son côté le « risque d'inciter les entreprises à prioriser la suppression au détriment de l'exactitude, et pourrait effectivement équivaloir à une obligation de filtrer tout le contenu » : 

« Lorsque les plateformes doivent examiner chaque mot publié par les utilisateurs et qu'elles sont incitées à le supprimer, on peut s'attendre à ce que le nombre de suppressions inutiles augmente. »

Google se disait également « tout à fait conscient » du volume croissant de contenus potentiellement problématiques mais « auto-généré » par les mineurs eux-mêmes, et sans que cela ne relève pour autant de la pédocriminalité.

Next INpact avait d'ailleurs déjà souligné que 65 % des 62 234 pages Web identifiées par l'Internet Watch Foundation (IWF) dans les 6 premiers mois de 2020 relevaient d'ailleurs de cette catégorie. 

• Pédocriminalité : les deux-tiers des contenus émaneraient des mineurs eux-mêmes

« Les chiffres que nous voyons, en particulier ceux des matériaux auto-générés, sont fous. Le matériel auto-généré est désormais le problème prédominant pour l'IWF », expliquait Susie Hargreaves OBE, directrice générale de l'IWF.

Près de 60 % des policiers déclaraient que la catégorie la plus courante était celle des images autoproduites volontairement, et près de 90 % des policiers que ce type de matériel était en augmentation.

40 % des adolescents américains estiment qu'il est « normal » de partager des nudes entre ados, et 19 % pensent qu'il est légal de le faire s'il s'agit de ses propres photos ou vidéos.

11 % des garçons de 13 à 17 ans, et 19 % des filles du même âge, ont d'ailleurs déjà partagé des photos d'eux dénudés. Ceux qui s'identifient comme LGBTQ+ seraient même deux fois plus nombreux à le faire.

Ce ne sont donc pas seulement les seuls parents qui risquent, à l'instar de Mark et Cassio, d'être ainsi suspectés de pédocriminalité, mais de plus en plus de mineurs eux-mêmes.

Une situation que connaissent d'ores et déjà les mineurs aux États-Unis. À la fin des années 2000, une adolescente de 17 ans avait ainsi été « fichée à vie pour une fellation librement consentie » : le garçon allait avoir 16 ans 3 semaines plus tard, elle avait donc été condamnée à 5 ans de prison avec sursis, et fichée en tant que « pédophile ».