Baptisé FakeCatcher, cet outil serait capable d’identifier des vidéos modifiées en quelques millisecondes seulement, avec une précision de 96 %.
Selon la société, « la plupart des détecteurs basés sur l'apprentissage profond examinent les données brutes pour essayer de trouver des signes d'inauthenticité et identifier ce qui ne va pas avec une vidéo ».
Ce n’est pas le cas de FakeCatcher, qui recherche au contraire « des indices d’authenticités dans de vraies vidéos, en évaluant ce qui fait de nous des êtres humains – comme un subtil "flux sanguin" dans les pixels d'une vidéo ».
Ainsi, « lorsque notre cœur pompe du sang, nos veines changent de couleur. Ces signaux sont collectés sur tout le visage et des algorithmes les traduisent en cartes spatio-temporelles. Ensuite, grâce au deep learning, nous pouvons détecter instantanément si une vidéo est réelle ou fausse ».
Commentaires (35)
#1
Ce qui pourra améliorer d’autant plus les deepfakes qui du coup pourront s’appuyer sur FakeCatcher pour corriger leur modèle.
#1.1
Oui… Ça me donne toujours l’impression que les chercheurs creusent le problème plutôt qu’ils ne le rebouchent…
#1.2
Donc il ne faut plus faire de recherche sur les systèmes de détection de drogues parce que ça permettrait aux trafiquants d’améliorer leurs planques ?
#1.3
Il faudrait surtout en légaliser certaines pour éviter de devoir les chercher …
#1.4
Ca change rien, son raisonnement est tordu. Tu peux reprendre mon propos en remplaçant drogues par explosifs.
#1.5
Je suis d’accord avec toi. Le jeu du chat et de la souris est inévitable. Ce n’est pas une raison pour rester dans son panier.
#1.6
C’est un peu plus compliqué que ça, dans ce genre de soft une des technique utilisée pour améliorer l’“IA” est de la mettre en compétition avec une IA qui détecte les erreurs (et ça va “vite”)
Generative adversarial network
De mémoire c’est ce qui avait été utilisé par moguri-mod pour refaire les visuels de final fantasy 9
Donc ce soft pourrait permettre de remplacer le travail humain de dire si l’IA fait bien son travail ou pas.
Vu que c’est pour de la vidéo il faudra certainement des machines puissantes donc ça nous laisse un peu de temps. Mais ça va certainement accélérer le problème, après si le deepfake était déjà assez bon pour que l’oeil humain ne puisse pas le repérer c’est mieux que rien.
#1.7
Raisonnement tordu. Parce que ces outils pourraient être détournés de leur usage initial, il est urgent de ne rien faire ?
#1.8
Je dis juste que c’est plus compliqué dans le cas du deep learning.
Dans le cas des drogues / explosifs les contrôles ne poussent pas à une amélioration du “produit”, ici pour contourner l’outil il faudra des deep fake plus réalistes et l’outil en lui même va permettre cette amélioration.
Dans l’article il y a 2 branches pour contrôler les deep fakes :
la première via les données, ce qui est une bonne chose car augmenter la qualité ne permettra pas de conter ces outils.
La 2 eme est de contrôler la qualité finale du rendu, ce qui est dangereux car le même outil pourra permettre d’améliorer le rendu (et donc le rendre plus difficile à discerner à l’oeil humain)
Si je tente de reprendre l’analogie (compliqué), tu aurais un chien sniffeur de drogue. Mais si la drogue est de meilleure qualité le chien deviendrait inutile.
Le chien serait libre d’accès pour tester la qualité d’une recette. Une fois la recette obtenue elle serait aussi simple à répliquer. Mais le produit final serait plus rentable pour les trafiquants et aurait des impacts plus négatifs sur la société et plus difficile à détecter pour les policiers.
#1.9
Dans mon analogie, il faut arrêter de dresser des chiens pour détecter la drogue parce que si un trafiquant a ce genre de chien il va pouvoir vérifier que sa planque est bien étanche ou que les produits de masquage sont efficaces.
#1.10
Je suis désolé, mais j’ai l’impression que vous n’avez pas compris l’idée du Generative adversarial network.
Ma thèse est que l’on va pouvoir entrainer les IA de deepfake à l’aide de l’IA de contrôle et donc les améliorer.
Il ne s’agit pas de contourner le contrôle (en ajoutant du flou ou autre), mais bien de rendre le deepfake plus réaliste.
#1.11
Non, j’ai l’impression d’avoir la vanité de croire qu’on a au contraire bien compris… Mais dans ta technique, si ton “adversaire” tique sur la mauvaise qualité générale de la vidéo (yeux qui ne regardent pas dans la bonne direction, reflets, ombres, que-sais-je) la qualité de la video va s’améliorer.
Si ton adversaire essaie juste de détecter les vidéos compositées à partir de deux sources (dont une “statique”, c’est uniquement les zones où sa source statique a été plaquée qui vont subir un traitement qui masque les absences de détails par du bruit.
Dans les deux cas on “améliore” le deepfake, mais il y a bien deux directions différentes qui correspondent à deux buts diamétralement opposés. Le premier est destiné à l’industrie du cinéma, qui voudra faire une vidéo en 8K de la tronche de Napoléon pour les besoins d’un film sur Waterloo. Le réalisateur se fiche éperdument de savoir si un algorithme va détecter exactement où s’arrête le visage de l’acteur et où commence la texture de Napo parce qu’une veine ne bat pas à la bonne vitesse, il veut une image nette.
Le second besoin est destiné aux agences de désinformation, qui seront intéressées par des vidéos de piètre qualité du moment qu’il soit difficile de prouver la supercherie.
Pasque faut pas s’y tromper : si ton but est de détecter des vidéos trafiquées, il faudra bien que l’“adversaire” soit mis en contact avec des vidéos “réelles”, et certaines d’entre elles seront bruitées, détail qu’il ne pourra pas ignorer au risque de rejeter comme fake toutes les vidéos un peu floues.
#2
En complexifiant la création de deepfakes, ça va augmenter le prix à payer pour pouvoir en sortir des versions convainquantes.
Finalement, ce n’est pas si mal.
#3
Tout dépend de la définition de “produit”. Il y a certes la substance illicite (drogue ou deepfake pour reprendre les exemples précédents) d’une part, mais ce qui nous intéresse ici n’est pas tant cette substance que la capacité à la dissimuler.
Avoir des chiens pisteurs de drogue n’a pas amélioré la qualité de la drogue, mais cela a grandement amélioré les techniques de camouflage ; pour les mules on est passé de simples sachets collés aux fesses d’un passeur à des gens qui acceptent d’avaler des capsules, des touristes qui se font piéger pour détourner l’attention, etc. Même topo pour les trafics de grande envergure, go fast, carrément des sous-marins de poche, …
Ce sera la même chose pour le deepfake, on n’arrivera pas à un deepfake de meilleure qualité, mais à un deepfake qu’il sera plus difficile à détecter. La nuance est de taille : si on reprend l’analogie avec la drogue, éviter la détection consistera peut-être à ajouter des parasites, du bruit, du flou… tout le contraire d’une meilleure qualité vidéo.
#4
Si les trafiquants ont un libre accès à ce système de détection pour améliorer leur planque, alors oui il vaut mieux arrêter de faire des recherches.
#5
Sécurité par l’obscurité, comme la crypto, donc… On aurait dû s’arrêter quand on a découvert ROT13 ?
#6
Comme je sais qu’il vaut mieux chiffre plusieurs fois, je fais toujours 2 rot13.
#6.1
Chiffrer
#6.2
Perso je te conseille un ROT7 suivi d’un ROT19. Ce sont deux nombres premiers différents, ça augmentera encore l’entropie.
#7
La crypto est quelque-chose qui est visiblement chiffré, donc il n’y a aucun intérêt à faire un détecteur pour savoir si c’est chiffré.
Mais si tu crées une technique révolutionnaire d’offuscation (stégano), tu ne vas pas crier sur les toits comment on fait pour détecter si des données sont cachées avec ta technique. Si ?
#8
Heu, si, justement. Si ma technique de stégano est bonne, elle résistera à un adversaire qui connaît la technique, car (correctement chiffré) le message présent ne pourra pas être distingué d’un bruit aléatoire sur un support sans message caché.
Parce que JUSTEMENT si je dois jeter ma technique dès qu’un seul adversaire la connaît, ce n’est pas une technique révolutionnaire, c’est juste de l’ “huile de serpent”.
Si la seule chose que je dois changer quand un adversaire découvre ma technique c’est une clé de chiffrement, c’est à ce moment-là que j’atteins un niveau de sécurité suffisant pour pouvoir dire que ma technique est révolutionnaire.
#9
Le chiffrement symétrique par bloc c’est l’alpha/omega de la cryptographique chez toi.
#9.1
Merci d’avoir confirmé par une remarque dégoulinante d’autosuffisance (et accessoirement complètement à côté de la plaque) que tu ne comprends strictement rien à la cryptologie. Mais je le savais déjà, en fait (parce que - tu vas rire - ça se voit tout de suite à tes commentaires).
#10
Puis surtout il va mettre un contrat sur la tête du choupinou.
#11
Ben c’est un peu le soucis de la technique, le résultat peut aller dans différentes directions, mais une fois qu’on a la bonne recette c’est bon.
Donc pour moi le meilleur moyen de tromper FakeCatcher est de rendre les vidéos plus réalistes.
#12
Faut dire qu’avec une phrase comme “Si ma technique de stégano est bonne, elle résistera à un adversaire qui connaît la technique”, ca ne m’incite pas à te prendre au sérieux.
#13
Ben, voilà, pareil dans l’autre sens. Un gars qui croit qu’il va pouvoir faire de la stégano “révolutionnaire” en priant très fort pour que l’adversaire ne trouve jamais le truc, j’ai pas la moindre raison de le prendre au sérieux…
#14
Cadeau:
https://www.researchgate.net/publication/225678088_Modeling_the_Security_of_Steganographic_Systems
#15
Très beau contre-son-camp. Tu aurais au moins pu lire ce document jusqu’a la page 2. non ?
#16
Ben oui, évidemment que l’algorithme de stégano est cassé s’il ne cache pas l’existence d’un message, c’est la définition même de la stégano !!! Donc, dès que les auteurs énoncent une évidence afin d’éviter de se perdre dans les cas triviaux, tu te rues dessus en croyant qu’elle te donne raison. Ca dénote bien ton niveau en la matière.
Note que t’as raison de t’arrêter aux cas triviaux, dès la page 3 tu aurais été confronté avec un modèle théorique de système de stegano, modèle qui représente explicitement des concepts dont tu affirmes l’inexistence…
Bon, j’te laisse, j’ai une videoconf avec Brandolini. Amuse-toi bien avec tes certitudes.
#17
Rendre publique les techniques de déchiffrement c’est donner la possibilité d’améliorer le chiffrement
1a. c’est bien dans le cas de la protection de la vie privée
1b. c’est pas bien dans le cas d’un ransomware
Rendre publique les techniques de détection c’est donner la possibilité d’améliorer la dissimulation
2a. c’est bien dans le cas de la protection de la vie privée
2b. c’est pas bien dans le cas d’un deep fake
Dans cette news, on parlait du cas 2b. voili voila voilou.
#18
Pour reprendre la discussion et les points à corriger :
La crypto n’est pas de la sécurité par l’obscurité : AES, Serpent, Twofish sont des algos de crypto parfaitement connus et pas craqués à ce que je sache.
Tu confonds donc la cryptographie et la stéganographie.
Il n’y a pas de chiffrement avec la stéganographie qui se repose uniquement sur de la dissimulation de l’information.
Et ça n’est pas de « l’huile de serpent », mais la seule solution lorsque l’objectif n’est pas que le message soit illisible à un tiers, mais qu’un tiers ne puisse (si possible) pas deviner qu’il y a un message. C’est très différent.
Et il est possible de mixer stéganographie et cryptographie pour transmettre un message discrètement et s’assurer que l’information ne soit pas compromise en cas de découverte, mais ça reste deux techniques avec des objectifs différents.
#18.1
Et c’est reparti, encore un qui va m’apprendre mon métier, y’avait longtemps tiens… Si tu lisais mes liens, tu aurais vu que la stéganographie moderne utilise bien une clé privée pour paramétrer la fonction d’incrustation. L’adversaire, même s’il connaît la fonction d’incrustation, ne peut pas déceler la présence d’une incrustation sauf à connaître la clé secrète (ou à obtenir par ruse ou contrainte le fichier original, sans incrustation). Tout cela est parfaitement décrit dans le lien que j’ai posté. Encore faut-il le lire plutôt que vouloir à tout prix me donner tort.
Bienvenue dans la team premier degré. C’était évidemment de l’ironie pour montrer à quel point le commentaire auquel je répondais (cacher les techniques de détection de drogue pour éviter que les trafiquants les connaissent, et éviter d’en inventer de nouvelles) était à côté de la plaque
Bon, j’ai assez perdu de temps avec ces discussions stériles.
#19
Stériles je ne sais pas, d’une certaine manière c’est plus intéressant quand ça s’écharpe sur de la crypto que sur un sujet purement politique au hasard.
En complétant avec des recherches, je sais désormais distinguer la cryptologie de la cryptographie, le principe de la stéganographie, ce qu’est la loi de Brondolini, interpréter la vanne du 2xROT13 et que l’huile de serpent peut redonner force et vitalité à ma chevelure.
#19.1
Ajoute à cela le “principe fondamental de la cryptographie” :
Ce procédé inclut quasiment systématiquement une phrase du genre “et ceci est la partie de l’algorithme qu’il faut absolument garder secrète”.