Connexion
Abonnez-vous

Pour prévenir le « revenge porn », Facebook analyse manuellement les photos

Cauchemar en agence de com'

Pour prévenir le « revenge porn », Facebook analyse manuellement les photos

Le 10 novembre 2017 à 16h08

Il y a une semaine, Facebook annonçait une collaboration avec les autorités australiennes, permettant à un internaute d'envoyer une photo pour empêcher son apparition sur les services du groupe. L'entreprise oubliait de préciser qu'une validation manuelle était menée, l'obligeant à détailler son processus.

Facebook évoquait récemment un projet de prévention du « revenge porn » mené  avec les autorités australiennes. Après un contact du bureau du commissaire eSafety, un internaute peut transmettre à Facebook une photo qu'il ne souhaite pas voir apparaître sur le réseau social. Ce dernier la reçoit via Facebook Messenger puis en conserve une empreinte (hash), ensuite comparé aux photos mises en ligne sur sa plateforme.

De nombreux médias, principalement outre-Atlantique, se sont alarmés du procédé, qui met entre les mains du groupe ce qu'une personne peut avoir de plus personnel... sans garantie d'effets. Pour sa part, le groupe promet de ne pas conserver les clichés, mais reconnaît qu'une inspection humaine est menée, pour s'assurer qu'il s'agit bien d'une photo intime.

Communication de crise

Face aux critiques, le réseau social a réagi dans un communiqué, censé présenter les « faits » autour de son initiative. Il y redétaille le processus en Australie. Un (ou une) internaute remplit un formulaire sur le site du bureau du commissaire eSafety. Il s'envoie ensuite à lui-même sa photo via Facebook Messenger. Le réseau social est ensuite prévenu par eSafety qu'une image a été envoyée.

Elle est ensuite traitée par « un représentant spécialement entrainé » du réseau social, qui génère l'empreinte qui sera stockée. Elle est ajoutée à une base de données, à laquelle l'empreinte de chaque image mise en ligne est comparée. Le groupe notifie ensuite l'utilisateur, qui supprime la photo incriminée de Facebook Messenger, ce qui la « supprime de nos serveurs ».

Pourtant, comme le précise The Daily Beast, une version floutée du fichier sera conservée plus longtemps, pour s'assurer que les règles de protection sont bien appliquées. « Un petit groupe de personnes » auront donc toujours accès, un temps, à une déclinaison dégradée de l'image. Le réseau social oublie de le mentionner.

Un pilote en Australie avant une généralisation planifiée

La communication de crise a continué sur Twitter. « Nous sommes conscients du risque qu'implique l'envoi de ces images par les gens concernés, mais nous le mettons face aux dégâts sérieux, réels et quotidiens que subissent ces personnes (surtout des femmes) qui ne peuvent pas empêcher la diffusion de ces images intimes non consenties » écrit ainsi Alex Stamos, le responsable de la sécurité de Facebook, dans un fil de tweets.

Ce « petit pilote » doit déboucher sur une généralisation dans d'autres pays, nommément le Canada, les États-Unis et le Royaume-Uni. Selon Stamos, l'outil est surtout destiné aux victimes de chantage, où une personne menacerait de poster des photos compromettantes. Il faut donc choisir : courir ce risque ou envoyer les photos dont on dispose à Facebook, en prévention.

Pourquoi ne pas fournir aux membres un outil générant localement une empreinte, sans envoyer la photo elle-même à Facebook ? Outre le besoin de validation visuelle, Stamos répond que « les algorithmes d'empreintes pour photos ne sont habituellement pas inclus dans les clients, pour éviter le développement de techniques de contournement ».

L'entreprise ne donne pas d'indication sur certaines limites potentielles. L'empreinte d'un fichier correspond à une version exacte. La moindre modification permettrait de générer un hash différent, par exemple en découpant légèrement les contours.

Ce dispositif s'ajoute à celui déjà en place, qui permet de signaler des clichés intimes déjà mis en ligne. Mis en place en avril, il ajoute une option de signalement sur une publication. Cette fois, l'analyse du contenu est automatisée sur Facebook, Instagram et Messenger. Un membre diffusant de telles photos peut voir son compte suspendu.

Comme nous l'indiquions en avril, le chiffrement local appliqué à chaque message sur WhatsApp interdit aujourd'hui ce type d'analyse. Le problème s'est déjà posé dans la lutte contre le terrorisme, où l'impossibilité de passer le contenu au crible est vivement critiquée par certains gouvernements.

Commentaires (39)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar

C’est manuel en cas de vérification par des hommes et digital en cas de vérification par des femmes ?

votre avatar

<img data-src=" />

votre avatar







Ruzgfpegk a écrit :



C’est manuel en cas de vérification par des hommes et digital en cas de vérification par des femmes ?





<img data-src=" />


votre avatar

Merci pour la remarque. J’ai ajouté une mention. Pour résumer, fournir un outil local faciliterait le contournement de la prise d’empreinte.

votre avatar

Revenge porn ne signifie pas forcément nu.



Une photo de toi dans une position compromettante passera les filtres “anti-nu”

votre avatar

Je suppose que c’est pour éviter que des gens soumettent des hashs qui ne correspondrait pas à des photos compromettantes.

Éviter que quelqu’un envoie le hash d’une image de la Joconde par exemple

votre avatar







PtiDidi a écrit :



Revenge porn ne signifie pas forcément nu.

Une photo de toi dans une position compromettante passera les filtres “anti-nu”





Normalement, “porn” implique de la nudité ou de la sexualité, ou alors il y a un nouveau sens :-) .


votre avatar







Gnppn a écrit :



Merci pour la remarque. J’ai ajouté une mention. Pour résumer, fournir un outil local faciliterait le contournement de la prise d’empreinte.





Le soucis serait que n’importe qui pourrait interdire la mise en ligne de photo, genre je passe l’outil sur notre cher président, et j’envois le hash à Facebook <img data-src=" />



Reste qu’envoyer à priori des photos qui pourraient éventuellement finir sur le net, c’est casse gueule… Car les fuites ça arrive à toutes les boites… Les Facebook Leaks, ça sera beau…



Bref, si on ne veut pas que du contenu finisse sur le net, il ne faut pas le produire !


votre avatar

Facepalmbook !

votre avatar

Personne ne pense au fait que les équipes de Facebook pourraient ne regarder les images qu’une fois qu’il y a un upload correspondant au hash??

Donc on pourrait bien envoyer une photo de Macron, mais dès qu’elle apparaîtrait sur le réseau et c’est cette dernière et seulement après détection que les équipes vérifieront, et ils détruiraient ce hash

Dans le cas d’un vrai revenge porn, si personne n’upload jamais de fichier correspondant, les modos ne verraient jamais les photos nues…

Mais non, j’imagine qu’il y a une très bonne raison (non, un retard de publication de 2 minutes, le temps de vérifier qu’il y a un bout de boob, n’est pas une bonne raison)

votre avatar

Facebook = internet ?

votre avatar







rheidizded a écrit :



Facebook = internet ?





Un peu succinct <img data-src=" />


votre avatar

C’est Facebook qui le pense.

Une photo dérobée/volée/transmise peut ne pas se retrouver sur facebook mais se retrouvera sur Internet.

votre avatar

Never trust users. Règle d’or de l’informatique! Tu te retrouverais avec une ribambelle de gais lurons qui enverraient tout et n’importe quoi, même pas forcément du porn, pour essayer de bloquer tout et n’importe quoi.&nbsp;

Et en face, une team réduite pour gérer tout ça qui n’a aucune idée de ce que le hash représente et qui se fait spammer.



Ce n’est pas possible de faire ça comme ça.

votre avatar

De la “séxualité” oui. Mais il y a des fétichismes qui n’implique pas de nudité.



Une photo de toi ligoté avec une boule dans la bouche.

&gt; La question de la nudité est loin d’être remplie (tu peux être habillé normal ou avec une combi latex)

&gt; C’est pas forcément sexuel (tu fais ce que tu veux de ton temps libre, si tu veux devenir le prochain Houdini après tout tu as le droit)

&gt; Par contre le caractère compromettant est plutôt assuré

votre avatar







Baradhur a écrit :



Never trust users. Règle d’or de l’informatique! Tu te retrouverais avec une ribambelle de gais lurons qui enverraient tout et n’importe quoi, même pas forcément du porn, pour essayer de bloquer tout et n’importe quoi.&nbsp;

Et en face, une team réduite pour gérer tout ça qui n’a aucune idée de ce que le hash représente et qui se fait spammer.



Ce n’est pas possible de faire ça comme ça.







Voir





jackjack2 a écrit :



Personne ne pense au fait que les équipes de Facebook pourraient ne regarder les images qu’une fois qu’il y a un upload correspondant au hash??

Donc on pourrait bien envoyer une photo de Macron, mais dès qu’elle apparaîtrait sur le réseau et c’est cette dernière et seulement après détection que les équipes vérifieront, et ils détruiraient ce hash

Dans le cas d’un vrai revenge porn, si personne n’upload jamais de fichier correspondant, les modos ne verraient jamais les photos nues…

Mais non, j’imagine qu’il y a une très bonne raison (non, un retard de publication de 2 minutes, le temps de vérifier qu’il y a un bout de boob, n’est pas une bonne raison)





votre avatar

“Send nude” facebook 2017

votre avatar

<img data-src=" /><img data-src=" />

votre avatar

C’est fapbook, mais seulement en interne…

votre avatar

Il me semblait qu’on ne pouvait de toute façon déjà pas envoyer de photos de seins nus (et encore moins de reproduction du tableau “L’origine du monde” de Courbet, alors je pige mal comment du porn pourrait se retrouver sur FB.

J’ai loupé quelque chose ?

votre avatar

Je me suis demandé la même chose

votre avatar

Pour prévenir le « revenge porn », Facebook analyse manuellement les photos



Manuellement, vraiment ? Je n’ose imaginer ce qu’est un traitement manuel sur des photos intimes !

<img data-src=" />

Si l’on veut dire qu’une partie du traitement est faite par un humain, il faut utiliser un autre terme que manuellement.

votre avatar

Arf, mais je pense que tout le monde comprend que ce n’est pas automatisé/informatisé <img data-src=" /> .

votre avatar

Désolé, mais c’est vendredi. <img data-src=" />





Plus sérieusement : de telles photos sont sensibles surtout si on voit ton visage pour te reconnaître. Et Facebook sait reconnaître les gens par leur visage, puisqu’il utilise cette technologie et sait aussi reconnaître des photos dénudées puis qu’il les refuse. Il sait donc facile d’associer les 2 techniques pour virer les photos même modifiées.



Remarque : si elle vire ce type de photo sur Facebook, ce n’est pas le cas sur Instagram il me semble ni peut-être sur son mesenger.

votre avatar

“L’empreinte d’un fichier correspond à une version exacte. La moindre modification permettrait de générer un hash différent, par exemple en découpant légèrement les contours.”



Pas forcement.il me semble qu il existe des methodes calculant un hash sur le resultat d un traitement d image (decoupe en triangle de Delaunay par exemple) ce qui permet d etre beaucoup plus resistant aux modifications non destructives de l image(redimensionnement,crop,rotation,impression/scan etc)



Ce qui me surprend c est qu aucun article de presse ne pose la question de pourquoi Facebook ne propose pas directement l appli qui calcule l empreinte de façon a ce que l utilisateur n envoie que le hash!

votre avatar







OlivierJ a écrit :



Il me semblait qu’on ne pouvait de toute façon déjà pas envoyer de photos de seins nus (et encore moins de reproduction du tableau “L’origine du monde” de Courbet, alors je pige mal comment du porn pourrait se retrouver sur FB.&nbsp;

J’ai loupé quelque chose ?



&nbsp;C’est interdit, mais rien ne t’empèche de poster de la nudité ou du porno.&nbsp; Il y en a d’ailleur plein… Avant d’être supprimé puis ré-uploadé, etc. et enfin, le compte ou le groupe est désactivé si récidives.



Ici on parle également de Messenger, c’est-à-dire dans des conversations privées où tu peux déjà envoyer ce que tu veux.


votre avatar

On est déjà en Avril ? ou est-ce qu’il s’agit de la news du vendredi pour relancer l’audience ? <img data-src=" />



Parceque si j’ai bien tout compris: pour éviter qu’une photo “intime” de toi puisse apparaitre sur FB, il faut que tu en envoies une copie à … FB (qui en gardera une copie soi disant floutée pendant un temps indéterminé).



Mais c’est génial comme principe <img data-src=" /> <img data-src=" />

votre avatar







fred42 a écrit :



Pour prévenir le « revenge porn », Facebook analyse manuellement les photos



Manuellement, vraiment ? Je n’ose imaginer ce qu’est un traitement manuel sur des photos intimes !

<img data-src=" />

Si l’on veut dire qu’une partie du traitement est faite par un humain, il faut utiliser un autre terme que manuellement.





il voulait dire manuellement par opposition à la méthode digitale.



<img data-src=" />


votre avatar







OlivierJ a écrit :



Il me semblait qu’on ne pouvait de toute façon déjà pas envoyer de photos de seins nus (et encore moins de reproduction du tableau “L’origine du monde” de Courbet, alors je pige mal comment du porn pourrait se retrouver sur FB. J’ai loupé quelque chose ?





Tu peut très bien envoyer du porn sans montrer forcément des seins et une chatte par exemple en postant une photo poste facial ! Ou alors mettre un coup de flou sur les endroit qui vont bien histoire que ça passe le détecteur de boobs et pussy.

&nbsp;





LeSpace a écrit :



Ici on parle également de Messenger, c’est-à-dire dans des conversations privées où tu peux déjà envoyer ce que tu veux.





Les liens de sites porno ne passent pas même par messenger.


votre avatar

Ca dépend. Tu macronnes ou tu valses <img data-src=" />

votre avatar

Les manuels, c’est pas automatique <img data-src=" /> <img data-src=" />

votre avatar

<img data-src=" />

votre avatar

Pour empêcher une fuite il faut fuiter à l’avance, je ne sais pas si c’est mieux, ça doit pas être simple psychologiquement aussi.

Je vois pas ce qui empêcherait les types de chez Facebook de faire de la merde avec les photos.

votre avatar







skankhunt42 a écrit :



Les liens de sites porno ne passent pas même par messenger.



Des liens peut-être pas, mais du porno, oui.


votre avatar

manque la citation

votre avatar

manque la citation

votre avatar







Baradhur a écrit :



Never trust users. Règle d’or de l’informatique! Tu te retrouverais avec une ribambelle de gais lurons qui enverraient tout et n’importe quoi, même pas forcément du porn, pour essayer de bloquer tout et n’importe quoi.&nbsp;

Et en face, une team réduite pour gérer tout ça qui n’a aucune idée de ce que le hash représente et qui se fait spammer.



Ce n’est pas possible de faire ça comme ça.



Oui je connais cette regle travaillant moi meme dans l informatique ;-)

Facebook se gargarise avec l intelligence artificielle, ils ont deja ce

qu il faut pour detecter du porn donc il suffit de l appliquer a la

photo qui correspond a un hash. si l IA detecte pas de porn tu passes la

main a l humain ce qui evite de surcharger l equipe


votre avatar







bilbonsacquet a écrit :



Le soucis serait que n’importe qui pourrait interdire la mise en ligne de photo, genre je passe l’outil sur notre cher président, et j’envois le hash à Facebook <img data-src=" />



Reste qu’envoyer à priori des photos qui pourraient éventuellement finir sur le net, c’est casse gueule… Car les fuites ça arrive à toutes les boites… Les Facebook Leaks, ça sera beau…



Bref, si on ne veut pas que du contenu finisse sur le net, il ne faut pas le produire !





Comme je le disais a quelqu un Facebook s appuie enormement sur l IA, il peuvent s en servir pour verifier qu une photo correspondant a un hash contient bien du porn ou pas. Si c est pas le cas tu sanctionnes l uploader du hash, dans l autre cas tu passes la main a un moderateur humain, ca devrait eviter de surcharger les modos


votre avatar







Gnppn a écrit :



Merci pour la remarque. J’ai ajouté une mention. Pour résumer, fournir un outil local faciliterait le contournement de la prise d’empreinte.





Tu parles de cette mention ?

“Pourquoi ne pas&nbsp;fournir&nbsp;aux membres un outil générant localement une

empreinte, sans envoyer la photo elle-même à Facebook ?&nbsp;Outre le besoin

de validation visuelle,&nbsp;Stamos répond que « les

algorithmes d’empreintes pour photos ne sont habituellement pas inclus

dans les clients, pour éviter le développement de techniques de

contournement ».”



on dirait la fameuse securite par l obscurite…

bon courage pour aller hacker ces trucs super mathematiques. c est pas le neuneu moyen qui fait du revenge-porn pour faire chier son ex qui se lancer la dedans

&nbsp;


Pour prévenir le « revenge porn », Facebook analyse manuellement les photos

  • Communication de crise

  • Un pilote en Australie avant une généralisation planifiée

Fermer