Connexion

Catégories

Droit Économie Flock Hardware IA Internet Logiciel Social Sciences Sécurité Société

Nous Suivre

Contact rédaction Contact site Forum
Flux RSS GitHub Discord

À propos

Abonnez-vous

Pédophilie : Apple « scanne » les photos de ses clients, Microsoft présente son projet Artemis

Pédophilie : Apple « scanne » les photos de ses clients, Microsoft présente son projet Artemis

Le 10 janvier 2020 à 09h10

La lutte contre la pédophilie n’est pas nouvelle, mais les sociétés du numériques sont régulièrement pressées d’en faire davantage. 

Pour cette édition 2020 du CES de Las Vegas, Jane Horvath (responsable des questions de vie privée chez Apple) était présente à une table ronde. Elle est notamment revenue sur le sujet de la pédophilie, comme le rapporte The Telegraph. 

Après avoir commencé par rappeler que supprimer ou affaiblir le chiffrement n’était pas sa façon de résoudre les problèmes, elle a explique qu’Apple utilise désormais « certaines technologies pour aider à dépister les contenus pédopornographiques ».

Un peu comme les filtres anti-spam, la société cherche des « signatures électroniques » dans les images, puis les compare à une base de données regroupant les empreintes de contenus pédopornographique.

Jane Horvath ne donne pas plus de détail sur la manière de procéder, mais Apple pourrait utiliser la technologie PhotoDNA, développée par Microsoft et exploitée par de nombreuses sociétés. Les comptes épinglés sont désactivés, mais Apple ne précise pas si ces informations sont transmises aux autorités. 

Dans le même temps, Microsoft présente son projet Artemis, un outil permettant d’analyser des conversations en ligne pour y détecter des prédateurs sexuels. Une « note » est attribuée, qui peut ensuite être utilisée pour déterminer quand une conversation doit être vérifiée par un humain.

Le 10 janvier 2020 à 09h10

Commentaires (42)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar

On imagine bien qu’il y a un peu plus qu’une simple comparaison d’empreint sinon comment détecter le nouveau contenu pédoporno ?

votre avatar

Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?

votre avatar







Arkeen a écrit :



Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?





A ton avis ?


votre avatar

Et il se passe quoi sur les faux positifs ?

Le compte est bloqué et aucun moyen de récupérer ses autres photos ?



Super … vive le cloud …

votre avatar







Arkeen a écrit :



Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?



Ils font comme Google, Amazon, Facebook, Microsoft ….

Mais c’est pour améliorer ton expérience et te proposer des services adaptés.


votre avatar

Planquez vous messieurs les pedo-nazi-tueurs-de-bébé-phoques <img data-src=" />



Mais bon, envoyer sur le cloud des photos “sensibles” c’est tendre le bâton (ou autre chose) pour se faire battre. <img data-src=" /> <img data-src=" />



La différence c’est qu’ils disent officiellement qu’ils scannent vos photos.

Pour le bien public, pour le moment.

Mais n’en profitent-ils pas pour tirer d’autres informations à partir de vos photos ?

Genre la piscine à bébé-phoques (pour votre usage personnel) non déclarée au fisc. <img data-src=" />

votre avatar

Bill2 et vous-même parlez du cloud et dans l’article de The Telegraph cité ici, il est indiqué à la fin comme mise à jour :

“Update January 9, 2020



This story originally said Apple screens photos when they are uploaded to iCloud, Apple’s cloud storage service. Ms Horvath and Apple’s disclaimer did not mention iCloud, and the company has not specified how it screens material, saying this information could help criminals.”



Il se peut alors que ça aille un peu plus loin que la plateforme iCloud…

votre avatar

On fait une vidéo de ses enfants qui s’amusent dans leur bain et on finit en prison c’est ca?

votre avatar

Ce qui me fait rire le plus dans ces histoires, comme pour les commentaires YouTube, c’est que beaucoup oubli que les jeunes sont aussi très présent sur le net.



Du coup, bien souvent, les plus gros producteurs et consommateurs de contenu sont… ben les gamins eux-mêmes.



Comme les commentaires sur YouTube étaient majoritairement le fait de gamins et non d’adultes.



Les US étaient en plein dedans en 2018 avec une histoire médiatique qui mettaient l’accent sur la réalité vraie et le manque de “discernement” de la loi.



Des images sont détecté. La personne est recherchée. Un gamin de 13 ans. La gamine dans les photos ? Sa petite amie de 13 ans.



Suivant les lois US, le gamin était poursuivi pour possession et risquait l’inscription dans le fichier des délinquants sexuel.



De l’autre côté, la fille était poursuivi pour possession, production de contenu et diffusion électronique et risquait d’être aussi fiché. Bref, c’est elle qui risquait le plus.



Et ce n’est pas un cas unique, mais c’est celui qui a mit en avant ce problème.



L’autre problème, ce serait aussi qu’un jour le terme “pédophile” soit correctement expliqué. Parce qu’il est mit à toutes les sauces mais dans la majorités des cas les gens ce plantent…

votre avatar







malock a écrit :



comment détecter le nouveau contenu pédoporno ?





Les enfants possèdent des yeux plus grand que les adultes et à partir d’une photo il est facile de déterminer une échelle et une pose. Reste ensuite à déterminer sur cette pose à quel endroit il y à de la peau et si c’est sur des zone tendancieuses ou non ( sexes / seins / fesses ).

&nbsp;





Bourrique a écrit :



La différence c’est qu’ils disent officiellement qu’ils scannent vos photos.





Alors que plus haut : “supprimer ou affaiblir le chiffrement n’était pas sa façon de résoudre les problèmes”. Si t’a un chiffrage fort j’ai du mal à comprendre comment tu peu scanner le contenu d’une photo…


votre avatar

Oui, côté moyens techniques, j’ai bien mes idées - celle que tu évoques est sans doute mise en œuvre.



Ce que je veux dire, par rapport à la communication d’Apple, c’est que l’on imagine bien alors que c’est plus qu’une simple comparaison “à une base de données regroupant les empreintes de contenus pédopornographique”.

votre avatar







malock a écrit :



c’est plus qu’une simple comparaison “à une base de données”&nbsp;



&nbsp;

Avant de pouvoir comparer une image à une base de donnée il faut d’abord la convertir et donc la traiter. Pas possible d’envoyer en brut chaque images / vidéos à des serveurs un peu partout dans le monde pour vérifier si il y à du pedo ou non.



&nbsp;


votre avatar







Arkeen a écrit :



Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?





Google le fait et en plus dénonce les pédophiles à la police.



&nbsp;



skankhunt42 a écrit :



Les enfants possèdent des yeux plus grand que les adultes et à partir d’une photo il est facile de déterminer une échelle et une pose. Reste ensuite à déterminer sur cette pose à quel endroit il y à de la peau et si c’est sur des zone tendancieuses ou non ( sexes / seins / fesses ).

&nbsp; …





Les photos du film Alita Battle Angel vont donc déclencher plein de faux positifs.&nbsp;<img data-src=" />


votre avatar

Dans ce cas je comprends mal comment les services de messagerie d’Apple seraient chiffrés de bout en bout s’il est possible de les scanner pour repérer du contenu pédo.



Dans ce cas pourquoi jouer les chevaliers blancs avec le FBI pour ne pas implémenter de backdoor ?



Surveiller et punir ses utilisateurs sur des contenus qu’on estime inacceptable (la pédophilie) et pas sur d’autres pourtant illégaux comme le terrorisme ou le trafic de drogue serait une sorte de justice privée qui se substitue à la justice d’État.

votre avatar

Que veux-tu dire ? Je ne comprends pas le sens de ta remarque.

Tu supposes qu’il y a un traitement en local sur l’appareil alors ?

votre avatar

Combien de temps avant que ce système soit utilisé pour les droits d’auteur ?



Genre tu fais une photo d’un tableau dans un musée, on te supprime ton compte parce que t’avait pas le droit… ou alors si tu filme un concert on te mute la vidéo ?



Combien de temps avant que les États ne demandent à utiliser le système pour censurer les informations ?



Ce genre de traitement des photo privées est totalement inacceptable.

votre avatar







malock a écrit :



Tu supposes qu’il y a un traitement en local sur l’appareil alors ?





Si tu veut passer le chiffrement tu est obligé je pense.

&nbsp;





espritordu a écrit :



Dans ce cas je comprends mal comment les services de messagerie d’Apple seraient chiffrés de bout en bout s’il est possible de les scanner pour repérer du contenu pédo.





Quand tu prend une photo juste après l’enregistrement dans la mémoire une empreinte est crée. Si tu partage la photo alors l’empreinte est automatiquement envoyé au serveur d’apple puis comparée avec une base de donnée externe.



Je suppose qu’il y à une première couche de ddétection très basique ( visage / taille eux / % de peau ) puis une détection un peu plus gourmande ( vêtement / expression / ect ) si ça flag à la première.



Quelqu’un pour me pretter un iphone et sa petite soeur pour voir si les photo s’enregistrent et ce partagent à la même vitesse ? <img data-src=" />


votre avatar







Obidoub a écrit :



Combien de temps avant que ce système soit utilisé pour les droits d’auteur ?



Genre tu fais une photo d’un tableau dans un musée, on te supprime ton compte parce que t’avait pas le droit… ou alors si tu filme un concert on te mute la vidéo ?



Combien de temps avant que les États ne demandent à utiliser le système pour censurer les informations ?



Ce genre de traitement des photo privées est totalement inacceptable.





Ceux qui “filment” / “photographient” des concerts avec leurs téléphones devraient être fichés genre Preventel.


votre avatar







skankhunt42 a écrit :



Quand tu prend une photo juste après l’enregistrement dans la mémoire une empreinte est crée. Si tu partage la photo alors l’empreinte est automatiquement envoyé au serveur d’apple puis comparée avec une base de donnée externe.







Alors le chiffrement de bout en bout est bidon. Ce n’est qu’un accessoire marketing.


votre avatar

Merci d’utiliser le terme de pédocriminel et de pédocriminalité en lieu et place de pédophile et pédophilie.

votre avatar







FrDakota a écrit :



Google le fait et en plus dénonce les pédophiles à la police.



&nbsp;

Les photos du film Alita Battle Angel vont donc déclencher plein de faux positifs.&nbsp;<img data-src=" />





Ben voilà.

Non, google dénonce des personnes ayant, a minima, des photos à caractère pedopornographique. Un simple enfant nue est considéré par la loi comme “à caractère” .

Il ne dénonce donc pas un pédophile. Google n’est pas expert psychiatre pour détecter si la personne présente un potentiel pédophilique élevé ou pas (on est tous sans exception des potentiels faibles qui peuvent à certaines périodes passer à élevé). Et Google à déjà fait du zèle la dessus.

Il y a quelques années un Français, je crois, c’est retrouvé dénoncé après que des photos ont été détecté sur “photos”… Une fois la perquisition passé il ne s’agissait en réalité que de photos de vacances à la plage. Même pas des “nue” juste des enfants en maillot de bain.


votre avatar







Thorgalix_21 a écrit :



Merci d’utiliser le terme de pédocriminel et de pédocriminalité en lieu et place de pédophile et pédophilie.







C’est effectivement plus approprié.


votre avatar







skankhunt42 a écrit :



Alors que plus haut : “supprimer ou affaiblir le chiffrement n’était pas sa façon de résoudre les problèmes”. Si t’a un chiffrage fort j’ai du mal à comprendre comment tu peu scanner le contenu d’une photo…









tu ‘la chiffré toi même avant de l’envoyer chez la pomme ? non ? alors c’est eux qui ont les clés


votre avatar







Arkeen a écrit :



Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?







“Donnez-vous l’accord que l’on scanne vos images pour détecter le contenu pédopornographique et vous dénoncer si c’est le cas ?”



Après, c’est presque ce qui est fait au niveau du formulaire ESTA pour aller un visa aux USA.







malock a écrit :



Oui, côté moyens techniques, j’ai bien mes idées - celle que tu évoques est sans doute mise en œuvre.



Ce que je veux dire, par rapport à la communication d’Apple, c’est que l’on imagine bien alors que c’est plus qu’une simple comparaison “à une base de données regroupant les empreintes de contenus pédopornographique”.





Ce n’est peut être pas une empreinte telle que tu la conçois, pour retrouver des images proches, mais j’ai l’impression que ce qu’ils appelles “empreinte” est plus quelque chose qui va être plus descriptif du contenu de l’image.



Imagine toi que l’image est réduite en une centaines ed valeurs qui même si elle n’a pas de sens “humainement compréhensible” peut être utilisé pour savoir ce que l’image représente.



Du coup, il suffit d’interroger cette centaines de valeurs pour savoir si le contenu a des chance d’être de nature pédopornographique. Mais on pourrait aussi lui demander s’il y a un chat dans l’image.



Si c’est le cas, on commence à être limite en terme d’indiscrétion, car avec une telle empreinte, il y a moyen de recréer vaguement l’image (il faut voir cette empreinte comme une compression basé plus sur un aspect sémantique).


votre avatar







malock a écrit :



Que veux-tu dire ? Je ne comprends pas le sens de ta remarque.

Tu supposes qu’il y a un traitement en local sur l’appareil alors ?









skankhunt42 a écrit :



Si tu veut passer le chiffrement tu est obligé je pense.





Les « signatures électroniques » dont il est question, c’est uniquement pour détecter le partage de photos déjà connues (« base de données regroupant les empreintes de contenus pédopornographique »). Et pas détecter de nouvelles photos prises par un appareil.



C’est certainement plus compliqué qu’un simple MD5 (ça doit être résistant aux modifications légères de l’image), mais dans le principe c’est la même chose.


votre avatar

Normalement un service de Cloud ne devrait même pas avoir accès aux contenus, la clé d’encodage des données étant propre à chaque utilisateur.

votre avatar







Mihashi a écrit :



Les « signatures électroniques » dont il est question, c’est uniquement pour détecter le partage de photos déjà connues (« base de données regroupant les empreintes de contenus pédopornographique »). Et pas détecter de nouvelles photos prises par un appareil.



C’est certainement plus compliqué qu’un simple MD5 (ça doit être résistant aux modifications légères de l’image), mais dans le principe c’est la même chose.







Oui. S’ils utilisent une empreinte, c’est certainement pour éviter de bannir les 3⁄4 des comptes. Sachant qu’Icloud, du moins aux US, doit être la plate-forme hébergeant le plus de photos de mineur dénudé. Parce que Kevina, 14 ans, qui se prend en photo topless devant son mirroir et que la photo est sauvegarder sur le cloud Apple… c’est pas une pédocriminel qu’ il faut bannir (Kevina c’est le pigeon de luxe pour Apple).


votre avatar







sinbad21 a écrit :



Normalement un service de Cloud ne devrait même pas avoir accès aux contenus, la clé d’encodage des données étant propre à chaque utilisateur.





et qui à la clé en question ? (voir mon message précédent)


votre avatar

J’ai pas lu que le compte était bloqué.

votre avatar







Obidoub a écrit :



Ce genre de traitement des photo privées est totalement inacceptable.







C’est malheureusement tout à fait acceptable pour une grande quantité de gens. Il n’y a qu’à constater le nombre impressionnant d’utilisateurs de Gmail, iCloud, Google Photos, sans parler des applications dites sociales. Qui aujourd’hui peut encore prétendre ignorer qu’utiliser ces services fait perdre tout contrôle sur ses données ?



Le tout bien souvent justifié à grand coup de « j’ai rien à cacher », « tu vois le mal partout » et de « mes contacts l’utilisent donc j’ai pas le choix ».


votre avatar







tazvld a écrit :



Ce n’est peut être pas une empreinte telle que tu la conçois, pour retrouver des images proches, mais j’ai l’impression que ce qu’ils appelles “empreinte” est plus quelque chose qui va être plus descriptif du contenu de l’image.

(…)







Oui ok. Je me demandais d’abord s’ils étaient capables de détecter du nouveau contenu qui n’est donc pas présent dans la base de référence.

D’après Mihashi, ce n’est pas le cas.

Il me semble que l’on n’en sait trop rien.



Dans l’article source (The Telegraph donc), le lien indiquant un changement de politique de confidentialité donne quelques éléments de réponses (ici). C’est pas mal de suppositions je crois.



votre avatar







macmc a écrit :



…&nbsp;

Il ne dénonce donc pas un pédophile. Google n’est pas expert psychiatre pour détecter si la personne présente un potentiel pédophilique élevé ou pas (on est tous sans exception des potentiels faibles qui peuvent à certaines périodes passer à élevé).&nbsp;

…







Ah non ?

https://www.theguardian.com/technology/2014/aug/04/google-child-abuse-ncmec-inte…

&nbsp;

&nbsp;“&nbsp;A tip-off from Google about the contents of a Gmail account led to the arrest of a 41-year-old Texan for possession of child abuse material, police revealed last week.”


votre avatar







FrDakota a écrit :



Ah non ?

https://www.theguardian.com/technology/2014/aug/04/google-child-abuse-ncmec-inte…

 

 ” A tip-off from Google about the contents of a Gmail account led to the arrest of a 41-year-old Texan for possession of child abuse material, police revealed last week.”



Non.

Ils ont dénoncé des photos litigieuses, ce qui a amené à une arrestation. Ce qui n’est absolument pas la même chose.


votre avatar

Mais il y a franchement tant de gens que cela qui utilisent iCloud pour y stocker des contenus pédo-pornographiques ? Il doit y en avoir, oui. Mais ce contenu se trouve et s’achète sur le Dark Web.

Alors aller ensuite mettre ça sur un compte iCloud, je trouve ça d’une bêtise sans nom. Il doit y en avoir, de ces cas, mais ça doit être tout de même marginal.

votre avatar







Arkeen a écrit :



Euh ? Apple scanne les photos des gens comme ça leur chante, ou ils demandent l’autorisation ?







Ben oui. Microsoft va bien lire les conversations privées sans que ça n’émeuve qui que ce soit.


votre avatar







skankhunt42 a écrit :



Quand tu prend une photo juste après l’enregistrement dans la mémoire une empreinte est crée. Si tu partage la photo alors l’empreinte est automatiquement envoyé au serveur d’apple puis comparée avec une base de donnée externe.







La vache… Tu veux dire qu’ils ont déjà une empreinte de la photo que tu viens de prendre ?

Sont vraiment trop forts….<img data-src=" />


votre avatar







Thorgalix_21 a écrit :



Merci d’utiliser le terme de pédocriminel et de pédocriminalité en lieu et place de pédophile et pédophilie.







Pourquoi donc ? <img data-src=" />


votre avatar







ungars a écrit :



Mais il y a franchement tant de gens que cela qui utilisent iCloud pour y stocker des contenus pédo-pornographiques ? Il doit y en avoir, oui. Mais ce contenu se trouve et s’achète sur le Dark Web.

Alors aller ensuite mettre ça sur un compte iCloud, je trouve ça d’une bêtise sans nom. Il doit y en avoir, de ces cas, mais ça doit être tout de même marginal.







Bah déjà utiliser le cloud sans se poser de questions…. ça te donne la réponse.


votre avatar







Ricard a écrit :



La vache… Tu veux dire qu’ils ont déjà une empreinte de la photo que tu viens de prendre ?





Bha en théorie c’est possible et il est même possible d’avoir une empreinte avant de prendre la photo, c’est comme ça qu’apple et quelques autres dominent le marché de la photo sur smartphone vu que au doigt mouillé 90% des smartphones possèdent les même capteurs photos.



&nbsp;


votre avatar







skankhunt42 a écrit :



Bha en théorie c’est possible et il est même possible d’avoir une empreinte avant de prendre la photo, c’est comme ça qu’apple et quelques autres dominent le marché de la photo sur smartphone vu que au doigt mouillé 90% des smartphones possèdent les même capteurs photos.







Comment veux-tu qu’ils comparent une empreinte d’une photo que tu n’as pas encore pris ?


votre avatar







Ricard a écrit :



Comment veux-tu qu’ils comparent une empreinte d’une photo que tu n’as pas encore pris ?





Dès que tu lance l’application photo sur les dernier iphone / samsung / ect t’a environ 10 photos par secondes qui sont prises en continue pour améliorer la lumière et le bruit. T’a aussi une couche en “temp réel” pour la détection des visages.


votre avatar







Krogoth a écrit :



On fait une vidéo de ses enfants qui s’amusent dans leur bain et on finit en prison c’est ca?






       Je ne serai pas étonné que ça vienne à ça, à en juger les histoires qui se passent aux USA... Il semble qu'il est de plus en plus mal vu que des hommes s'occupent d'enfants, même les leurs. Il y aurait eu des recadrages de fonctions voir licenciements d'éducateurs juste parce qu'ils faisaient leur travail mais les mères trouvaient que des éducateurs hommes les répugnaient, elles se sentaient "inconfortables" à les laisser s'occuper de leurs enfants, même si ces derniers les adoraient.           







     Après tout, tout le monde sait que les hommes sont des pédophiles qui s'ignorent et qui ne pensent qu'avec leur costume trois-pièces.          


       &nbsp;             


       Si on ajoute la pudeur hypocrite locale, ça va forcément venir à ça.             







      Et si ça venait en France, mes parents seraient en prison pour 3 malheureuses photos dans l'album familial :D Je devrais peut-être en profiter pour les menacer d'un procès, peut-être que je peux obtenir quelque chose :windu:

Pédophilie : Apple « scanne » les photos de ses clients, Microsoft présente son projet Artemis

Fermer