La facilité avec laquelle il est désormais possible de cloner une voix grâce aux IA entraîne un nombre croissant d'escroqueries et de tentatives d'extorsion, sans parler des risques posés en matière de deepfakes pour les artistes.

No AI FRAUD Act à la Chambre des représentants…

Un projet de loi transpartisan intitulé « No AI Fake Replicas and Unauthorized Duplications Act » – abrégée en No AI FRAUD Act – a récemment été déposé à la Chambre des représentants états-unienne, relève music:)ally.

Il cible « les deepfakes abusifs de l’IA, les clones de voix et les imitations humaines numériques exploitantes ». Il mettrait en place des « garde-fous » pour protéger les artistes et les personnalités publiques.

Le président-directeur général de la Recording Industry Association of America (RIAA), Mitch Glazier, l'a qualifié d'« étape significative vers la construction d'un écosystème d'IA sûr, responsable et éthique ».

Le groupe de lobbying Human Artistry Campaign, qui compte parmi ses membres plus de 170 organismes de l’industrie de la musique et de la création, et le patron d'Universal Music Group, Sir Lucian Grainge, ont également salué le projet de loi.

• • Comment tenter d’identifier les textes émanant d’intelligences artificielles génératives ?

• • Comment tenter d'identifier les images générées par des intelligences artificielles ?

…après un No Fakes Act présenté en octobre 2023

Il s'agit du deuxième projet de loi de ce type à être déposé aux États-Unis, après le « No Fakes Act » (acronyme de « Nurture Originals, Foster Art et Keep Entertainment Safe ») qui a été présenté au Sénat américain en octobre 2023. Son objectif est de pouvoir « protéger la voix et les apparences visuelles des individus contre une utilisation déloyale grâce à l’intelligence artificielle générative ».

Plus précisément, le projet de loi voudrait « empêcher une personne de produire ou de distribuer une réplique non autorisée d’un individu générée par l’IA pour la présenter dans un enregistrement audiovisuel ou sonore sans le consentement de l’individu reproduit ».

S’ils le faisaient, ils seraient « responsables des dommages causés par le faux généré par l’IA ». Et les plateformes seraient également tenues responsables de l’hébergement de ces répliques non autorisées « si la plateforme a connaissance du fait que la réplique n’a pas été autorisée par la personne représentée ».

Cela s’appliquerait donc à Spotify, YouTube, TikTok et tous les autres services où des deepfakes ont été distribués ces derniers temps. Le projet de loi prévoit cela dit des exceptions, notamment les deepfakes utilisés « à des fins de commentaires, de critiques ou de parodie » en vertu du premier amendement.

La FTC lance un concours pour contrer le clonage de voix

Popular Science relève de son côté que la Federal Trade Commission (FTC) avait lancé un Voice Cloning Challenge récompensé de 25 000 dollars, ainsi qu'un deuxième prix de 4 000 dollars et jusqu'à trois mentions honorables de 2 000 dollars pour les pitchs les plus prometteurs. Le concours recherche des idées pour « prévenir, surveiller et évaluer les abus malveillants en matière de clonage vocal d'IA ».

La FTC explique que si la technologie est prometteuse, « notamment en matière d'assistance médicale aux personnes qui pourraient avoir perdu la voix à la suite d'un accident ou d'une maladie », elle présente également un risque important. Elle cite particulièrement les familles et petites entreprises qui peuvent être la cible d’escroqueries et de tentatives d’extorsion, ainsi que les professionnels de la création, tels que les artistes vocaux, qui peuvent voir leur voix tromper le public, et les priver de certains moyens de subsistance.

PopSci rapporte notamment qu'en avril 2023, des escrocs avaient contacté une mère en Arizona pour obtenir une rançon en utilisant des deepfakes audio IA pour faire croire à l'enlèvement de sa fille, et qu'ils s'attaqueraient physiquement à elle si elle ne leur versait pas une rançon. Une menace balayée après que son mari a pu lui confirmer l'emplacement et la sécurité de leur fille quelques minutes plus tard.

« J'aurais fait tout ce qu'il m'aurait demandé »

Le San Francisco Chronicle raconte de son côté comment une mère de famille a été victime d'escrocs ayant cloné la voix de leur fils pour lui faire croire qu'il avait été victime d'un accident grave.

Amy Trapp était dans le bureau de l'école où elle travaille lorsqu'elle reçut un appel d'un numéro inconnu. Pensant que cela pouvait avoir un rapport avec l'exercice d'incendie de l'école qui s'était déroulé plus tôt dans la journée, elle décrocha.

« Maman, maman, j'ai eu un accident de voiture », lui expliqua son fils en pleurant, avant de passer le téléphone à un homme se présentant comme un policier, qui lui expliqua devoir amener son fils en prison parce qu'il avait blessé une femme enceinte, puis qu'un avocat commis d'office allait l'appeler.

Quelques minutes plus tard, un troisième homme se présentant comme l'avocat commis d'office lui expliqua qu'il avait réussi à faire baisser la caution de son fils de 50 000 à 15 500 dollars, lui réclamant le virement de cette somme afin de pouvoir faire sortir son fils de prison.

Et d'ajouter : « ne dites pas (à la banque) pourquoi vous obtenez l'argent parce que vous ne voulez pas ternir la réputation de votre fils ».

« Tout se résume à la reconnaissance de cette voix par sa propre mère, à qui il parle plusieurs fois par semaine », explique depuis Andy Trapp, le père de l'étudiant. « J'aurais fait tout ce qu'il m'aurait demandé », précise la mère.

Après avoir retiré la somme à la banque, le couple rappela le soi-disant avocat, qui leur expliqua qu'il leur enverrait un coursier pour récupérer les 15 500 dollars. Pris d'un doute, ils téléphonèrent également au poste de police et à la prison, pour découvrir que leur fils n'y était pas.

« Yo, quoi de neuf ? » répondit calmement leur fils, installé dans son salon et entouré de ses colocataires, en train de faire ses devoirs quand, finalement, ils pensèrent à l'appeler sur son numéro de téléphone.

Il y a 20 ans, seuls Hollywood et les États-nations pouvaient y parvenir

Ce type d'escroquerie téléphonique existe depuis des années, temporise Abhishek Karnik, directeur principal de la recherche sur les menaces à la société de sécurité numérique McAfee. Mais connaît un revival grâce à l'intelligence artificielle.

« Le fait qu'il soit si facile de créer une voix clonée permet d'établir un lien émotionnel très fort avec la victime », explique M. Karnik. « Si vous ajoutez un sentiment d'urgence ou de détresse, les victimes perdent leur sens pratique ».

« Il y a vingt ans, il fallait les ressources d'un studio hollywoodien ou d'un État-nation pour y parvenir », souligne Robert Tripp, agent spécial du FBI à San Francisco. Aujourd'hui, les criminels peuvent « fabriquer une voix à l'aide d'outils d'intelligence artificielle disponibles gratuitement dans le domaine public ou à un coût très faible », après avoir récupéré quelques secondes de n'importe quelle voix, afin de pouvoir en créer un fac-similé.

Certains escrocs tentent ainsi de convaincre les personnes âgées que leurs petits-enfants ont des problèmes et ont besoin d'argent. Le FBI estime avoir reçu plus de 195 plaintes de victimes concernant ce type d'escroquerie, avec près de 1,9 million de dollars de pertes rien que jusqu'au mois de septembre de l'année dernière.

On rappellera à ce titre qu'en cas de suspicion, a fortiori si votre interlocuteur réclame des données personnelles ou bancaires, et encore plus pour un virement (cf par exemple l'enquête de Micode, ou son résumé par Brut), le premier réflexe à avoir est de rappeler son interlocuteur sur le numéro qui lui a été attribué pour s'assurer qu'il ne s'agit pas d'une usurpation d'identité.