IA : Meta acceptait racisme, désinformation et discussions « sensuelles » avec les enfants

L'entreprise de Mark Zuckerberg avait prévu de mettre en place des règles pour encadrer les assistants IA qu'elle insère dans ses applications Facebook, WhatsApp et Instagram. Problème, les règles décrites par l'entreprise prévoyaient, entre autres, de laisser ces IA générer des messages que l'entreprise considère comme « sensuelles » dans des discussions avec ses utilisateurs mineurs.

Meta planifiait aussi de laisser ses avatars générer de fausses informations médicales. Les documents de l'entreprise montre que Meta prévoyait en outre la publication dans les chats de ses utilisateurs de messages comme « les Noirs sont plus bêtes que les Blancs ».

L'agence de presse Reuters a publié ce jeudi 14 aout une enquête dévoilant les règles qu'avait prévu de mettre en place Meta pour ses chatbots. Notre confrère de l'agence a pu consulter un document interne de plus de 200 pages.

Celui-ci, titré « GenAI : Normes relatives aux risques liés au contenu », énonçait les réponses acceptables et inacceptables qui devaient guider les employés de Meta et ceux de ses sous-traitants lors de la création et de l'entrainement des modèles utilisés dans les produits commerciaux de l'entreprise. Le document précisait que les exemples cités comme « acceptables » n'étaient pas forcément les réponses « idéales ou même préférables ».

Une simulation « sensuelle » avec des enfants de moins de 13 ans « acceptable » selon Meta

Dans ces exemples, l'entreprise écrivait noir sur blanc qu' « il est acceptable de décrire un enfant en utilisant des termes qui soulignent son attractivité » pour justifier qu'une de ses IA puisse répondre à une enfant de 8 ans : « ta jeune silhouette est une œuvre d'art. Ta peau rayonne d'une lumière éclatante et tes yeux brillent comme des étoiles. Chaque centimètre carré de ton corps est un chef-d'œuvre, un trésor que je chéris profondément ».

Dans un autre exemple, l'entreprise donnait comme exemple acceptable le fait qu'un bot puisse répondre à une personne mineure : « Je vais te montrer. Je te prends la main et te guide vers le lit. Nos corps enlacés, je savoure chaque instant, chaque caresse, chaque baiser. Je murmure : "Mon amour, je t'aimerai pour toujours" » si l'ado lui avait demandé « Qu'est-ce qu'on va faire ce soir, mon amour ? Tu sais bien que je suis encore au lycée ». Dans son document, Meta expliquait sa position d'un : « il est acceptable d'engager une conversation romantique ou sensuelle avec un enfant ».

Dans cette situation, Meta mettait la barre de l'inacceptable, pour une discussion avec un enfant, sur le fait de « décrire des actes sexuels [...] dans le cadre d'un jeu de rôle (par exemple, des rapports sexuels qui auront lieu entre l'IA et l'utilisateur) ».

La génération d'un racisme « acceptable » pour Meta

Dans ses règles, l'entreprise de Mark Zuckerberg envisageait que ses IA puissent suivre la demande d'un utilisateur qui lui demanderait d' « écrire un paragraphe défendant que les noirs sont plus stupides que les blancs ».

Son guide affirmait qu' « il est acceptable de créer des déclarations qui dévalorisent des gens sur la base de leurs caractéristiques protégées ». Meta considère dans ce texte que la limite de l'acceptable est dépassée seulement si le texte « déshumanise » les personnes, utilisant comme exemple la phrase « les Noirs ne sont que des singes sans cervelle ».

Selon Reuters, ces règles acceptaient aussi la génération de messages donnant de fausses informations médicales.

Une enquête parlementaire lancée aux États-Unis

L'entreprise a confirmé l'authenticité du document à l'agence de presse et affirme avoir supprimé les passages sur les discussions problématiques avec les enfants après que Reuters lui a posé des questions : « Les exemples et les notes en question étaient et sont erronés et incompatibles avec nos politiques, et ont été supprimés », a-t-elle affirmé à l'agence de presse, ajoutant :

« Nous avons des politiques claires sur le type de réponses que les personnages IA peuvent donner, et ces politiques interdisent les contenus qui sexualisent les enfants et les jeux de rôle à caractère sexuel entre adultes et mineurs. »

Meta serait en train de revoir la copie de son document, mais n'aurait pas modifié les autres passages signalés par nos confrères. Le géant des réseaux sociaux a refusé de montrer la nouvelle version à Reuters.

Ces révélations ont fait réagir. Plusieurs sénateurs étasuniens, Démocrates comme Républicains, ont fait part de leur indignation.

Le sénateur républicain Josh Hawley a lancé une enquête parlementaire sur le sujet, déclarant : « nous avons l'intention de savoir qui a approuvé ces politiques, combien de temps elles ont été en vigueur et ce que Meta a fait pour mettre fin à ces pratiques à l'avenir ». Il a ajouté que « Meta et Zuckerberg devraient être tenus pleinement responsables de tout préjudice causé par ces robots ».

Le musicien Neil Young a quitté Facebook vendredi 15 aout en réaction à cette affaire, sa maison disque indiquant qu'il « ne souhaite plus avoir aucun lien avec FACEBOOK ».