Hadopi : les chiffres de la riposte graduée en Open Data suite à une demande CADA
Rue du Excel
Le 03 janvier 2018 à 09h17
3 min
Droit
Droit
Suite à une demande CADA de Next INpact, la Hadopi diffuse désormais les données brutes de la riposte graduée sur son site Internet. Une évolution qui facilitera les réutilisations : graphiques, comparaisons, édition de nouvelles statistiques, etc.
Un véritable cas d’école. Voilà plusieurs années que la Haute Autorité pour la diffusion des œuvres et la protection des droits sur Internet (Hadopi) détaille, plus ou moins régulièrement, le nombre d’abonnés avertis par ses soins suite à des téléchargements illicites.
Le problème est qu’à chaque fois, l’institution publie ces informations sous forme de tableau et/ou de graphique totalement inexploitable... Et pour cause, il s’agit d’images, visiblement générées à partir d’un tableur.
Résultat : il est impossible d’effectuer ses propres comparaisons. La seule solution pourrait consister à retaper un à un, dans un nouveau tableur, chacun de ces chiffres... Un travail de fourmi qui nécessiterait d’autant plus de patience que la riposte graduée ayant fêté ses sept ans il y a quelques mois, les derniers chiffres publiés ne reprenaient plus ceux du début.
Nouveaux outils de transparence offerts par la loi Numérique
Afin de permettre à la société civile de disposer d'informations réutilisables, nous avons donc demandé à la Rue du Texel de mettre en ligne les données brutes de la riposte graduée, sur le fondement des nouvelles dispositions introduites par la loi Numérique. Le texte porté par Axelle Lemaire permet en effet :
- De demander la publication d’un document administratif (rapport, code source, statistiques...) – Via le 4° de l’article L311-9 du Code des relations entre le public et l'administration.
- D’obtenir la mise à disposition de données « dans un standard ouvert, aisément réutilisable et exploitable par un système de traitement automatisé », conformément aux principes de l’Open Data – Via l’article L300-4 du CRPA.
Trois semaines après cette « demande CADA », la Hadopi nous a envoyé par mail un fichier CSV reprenant l’ensemble des chiffres de la riposte graduée, depuis octobre 2010. Y sont détaillés, mois par mois : le nombre de premières et secondes recommandations, ainsi que le nombre de dossiers transmis au Parquet.
« N’étant pas une production interne, nous n’avons malheureusement pas la possibilité de vous présenter mensuellement les suites judiciaires », nous a néanmoins indiqué la Haute autorité. Ces chiffres ont donc été intégrés en cumulé au 30 novembre 2017.
« Ce fichier est consultable sur notre site hadopi.fr, sur la page Open Data. Il sera très prochainement publié sur le site data.gouv.fr » promet-on, Rue du Texel. Espérons que ce pas en avant sera suivi de mises à jour régulières de ce tableur, à même de permettre la mise en lumière d’autres évolutions que celles exposées dans les rapports d’activité de la Hadopi.
Hadopi : les chiffres de la riposte graduée en Open Data suite à une demande CADA
-
Nouveaux outils de transparence offerts par la loi Numérique
Commentaires (43)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 04/01/2018 à 10h21
Faut pas que j’oublie de me prendre mon VPN, vous me faites penser à ça…
" />" />" />" />" />
Le 04/01/2018 à 12h33
Le 04/01/2018 à 13h17
Je suis pas trop a jour sur les dates de “fermeture”de certains sites, ça correspond aux baisses ou pas du tout ? " /> (genre fermeture de T411)
Le 05/01/2018 à 09h40
Pour la mise à jour des données, c’est normalement une obligation avec la loi pour une République Numérique. Espérons que ce sera suivi.
Le 08/01/2018 à 09h07
Même pas dans le cas présent, puisque cette obligation de mise à jour ne concerne que les administrations d’au moins 50 agents ou salariés. Et la Hadopi en compte 49 selon son dernier rapport d’activité…
Le 03/01/2018 à 09h30
Pas très lisible le graphique sur fond noire.
Le 03/01/2018 à 09h33
Je viens de voir le CSV… j’ai vomi quand j’ai vu du multi structure. Des “titres” de section, aléatoirement en colonne 1 ou 2.
Une envie de rager simple.
Je verrai en fin de journée si j’ai suffisamment la rage pour préparer un powerquery qui exploite tout ça automatiquement
Le 03/01/2018 à 09h34
Bonne résolution n°1 : checker les demandes CADA, les traiter avant fin janvier, ne rien faire ensuite jusque janvier prochain ^^
Le 03/01/2018 à 09h37
Même mes collègues nul en tableau excel, ferait un truc plus propre." />" />
Le 03/01/2018 à 09h49
Avec les compétences que vous avez développé en interne sur les demandes CADA, vous allez pouvoir créer une entreprise et vendre ce service !
il reste l’étude de marché à faire…
Le 03/01/2018 à 10h12
il y a (toujours) des progrès à faire, mais c’est tout de même un beau pas en avant. Pour une fois qu’une administration joue le jeu…
Le 03/01/2018 à 10h15
+1
Le 03/01/2018 à 10h28
Rah les gars, même quand ils publient les données, vous ralez. Tout le monde n’est pas à l’aise avec les formats de données info, dans la vie : c’est pas parce qu’on pond une loi que du jour au lendemain vous aurez des données structurées propres en csv ou en base SQL….
Maintenant les données sont la, donc si vous voulez les exploiter vous vous sortez les doigts…
Le 03/01/2018 à 10h33
Ce n’est pas non plus parce que la loi m’impose d’isoler ma maison que je vais aller chier sur les murs pour le faire ! (désolé pour l’analogie un poil extrême, je suis d’accord que c’est une première étape. Mais bon, c’est notre plaisir de râler quand on voit ça).
Le 03/01/2018 à 10h38
Et les années sur 2 chiffres, ça va bugger en 2100.
Le 03/01/2018 à 10h39
Hadopi n’a pas prévu de survivre si longtemps :)
Il y aura le bug des timestamp POSIX de 2038 avant !
Le 03/01/2018 à 10h43
Le 03/01/2018 à 10h45
Le 03/01/2018 à 10h52
On est d’accord. On râlerait de toute façon, même s’ils nous avaient donnés un truc propre et structuré. " />
Le 03/01/2018 à 11h00
Meuhhhh nooooonn. C’est mal nous connaître " />
@NXi, offrir un Tshirt Hadopi aux prochains abonnés premium ?
Le 03/01/2018 à 11h19
Il y a pas mal de chiffres bien ronds, à la centaine : 18000, 15200, 8000,…
Si j’étais un brin moqueur, je dirai que ce sont des chiffres bidonnés, et que le document a été fait à la main, le vendredi à 17h28pour répondre à la demande CADA…
Mais je ne serai pas un brin moqueur, je sais quelles sont les difficiles conditions d’existence de cette autorité, un si petit budget ne permet pas d’avoir la main d’oeuvre qualifiée pour établir un vrai document avec de vraies valeurs " />
Le 03/01/2018 à 11h22
Il n’y a qu’un csv ? Parce que si c’est un fichier Excel, ça serait rigolo de fouiller les méta-données, si seulement on pouvait voir la légalité de leur licence Office " />
Le 03/01/2018 à 11h32
Il y a eu des appels d’offre de la HADOPI pour acheter du MS Office (même pas de mise en concurrence avec Libreoffice :-( ). Je pense que là dessus, il y a rien à craindre.
Le 03/01/2018 à 11h34
Je ne porte pas l’Hadopi dans mon coeur (pour rester poli) mais j’avoue que ce petit effort de transparence est appréciable. Reste a savoir si ces chiffres ne seraient pas bidonnés (mode complot ON)
Cela étant dit, j’ai ris aux larmes en lisant le sous titre " />
Le 03/01/2018 à 11h37
Montée en puissance de 2011 à 2015.
Puis vitesse de croisière d’environ 150 000 premiers emails par mois depuis 2015.
Et environ 15 000 deuxièmes emails par mois avec néanmoins une grosse chute à ~8000 par mois depuis juin 2017 (coup de mou?).
Entre 50 et 100 délibérations de transmission / mois depuis 2015.
Le plus important
Jugements de relaxe : 9
Réponses pénales : 653
Ils ont pas renseigné le nombre de courrier recommandés ?
Le 03/01/2018 à 11h38
Le 03/01/2018 à 11h51
Désolé mais quand je vois ça:
1eres recommandations;;;;;;
;Délibérations de transmission;;;;;
Suites judiciaires;;;;;;
La 2eme ligne me rend malade.
C’est pas un problème d’avoir un format dégueulasse (le csv j’en ai brassé une quantité, j’ai vu pire comme format: bonjour l’EDI !), Mon problème ici c’est surtout quelqu’un qui n’a même pas jeté un coup d’oeil à son propre fichier.
Bon sinon, je vais manger je devrais avoir fini mon PowerQuery d’ici 14h.
Le 03/01/2018 à 12h27
J’aimerais bien que des choses comme ça me rendent encore malade perso " />
Le 03/01/2018 à 12h33
Pareil, c’est du pipi de chat à côté de ce qu’on peut voir dans les lourds passifs des entreprises… (genre dans un pivot tu fais transiter une taxe et son montant ou pourcentage, au lieu d’avoir un champ “type taxe” + la valeur, ils créent un objet par taxe…. " /> )
La structure de données, c’est un métier à part entière… Et comme souvent, très négligé et réalisé au fil des demandes. Résultant de formats de documents complètement imbitables à force.
Le 03/01/2018 à 12h42
Si en plus on peut même plus faire de figures de style" />
Le 03/01/2018 à 13h44
Bon,j’enchaine les réunions
Désolé c’est fait à la rache. mais voici l’excel en powerquery.
https://framadrop.org/r/vE2tWhq04h#2f3jnSZ4Qt7H2VRf+VoPlhCmZtcDQfoyqEr0pO5JepQ=
Rappel: powerquery pour Excel c’est gratuit (mais pas Excel)
MicrosoftLes query:
-La principale: “chiffres-bruts-statistiques”
(si le CSV est corrigé il faudra changer la recherche column2 en column1)
let
in
Et les requêtes dépendant de cette requête:
1eres recommandations
let
in
2èmes recommandations
let
in
Délibérations de transmission
let
in
Suites judiciaires
let
in
Réponses pénales
let
in
Edit: aprés démerdez vous pour fusionner puis faire un tableau croisé dynamique ou un graph. C’est pas compliqué
Le 03/01/2018 à 16h05
Le 03/01/2018 à 16h24
merci pour le fichier (lien) ! " />
Le 03/01/2018 à 16h26
On peut pas, on est des hommes, des vrais, avec des pouals. " />
(enfin, de la laine dans ton cas " />)
Après avoir vu des applis sous Windows travailler en mode Unix (avec une surcouche incluse) qui devait pondre des fichiers au format Windows pour être envoyés à des AS400 russes qui travaillent en cyrillique, plus rien ne m’effraie. " />
Le 03/01/2018 à 17h39
Finalement, ça raconte quoi ces chiffres ?
si c’est pour confirmer ce que l’on troll déjà…
qui?
Le 03/01/2018 à 17h48
Le 03/01/2018 à 18h06
En 7 ans plus de 9 millions de 1er mail, pour 28 millions de ménage, ca ferait +/- 1 famille sur 3 qui a reçu un 1er avertissement (si on écarte ceux qui en ont un régulièrement et se font discret 6 mois). Si on ajoute tout ceux qui passent entre les mailles du filet (pas de P2P, vpn, etc), on peut en conclure que le téléchargement est très largement répandu en France.
On a aussi un nombre de mails relativement stable depuis 3 ans : on peut raisonnablement s’interroger sur l’efficacité de l’effet dissuasif (on devrait voir le nombre baisser en principe).
La Hadopi pourrait rétorquer que les avertis rentrent dans le rang, et que ce sont des nouveaux chaque mois qui eux aussi vont rentrer dans le rang. Pour confirmer cette hypothèse, rendez-vous dans 5 ans quand on aura fait le tour de toutes les familles de France, voir si ça s’arrête net " /> " />
Le 03/01/2018 à 18h18
Le 03/01/2018 à 19h34
+1
Le 03/01/2018 à 20h30
Il restait quand même encore du travail, je viens de rentrer et de voir que je n’ai même pas passé les colonnes en numériques " />
Et rien que pour vos yeux voila le tableau complet avec graphes en tableaux croisés.
J’ai fais une jointure entre R1 R2 et DT. Et une analyse rapide des suites judiciaire en joignant SJ et RP
https://framadrop.org/r/rK6G7tYumF#RhthcDNd8ke6q6wpljuSyqmtVlF1QDZK9CzzNTDx9eE=
J’ai fait une capture rapide des graphs pour ceux qui utilisent pas excel:
https://framapic.org/p46nsV6LQ88F/h2ZdXmouoeWf.png
Prochaine fois, dés que le fichier sera à jours, il suffira de rafraichir l’excel (Donnée, tout actualiser) pour avoir les graphs à jours (sauf si bien sur il y a eu une modification de format, suffira juste de bidouiller rapidement la premiere requête, tout sera à jours en cascade).
Ce qu’on voit c’est une grosse stagnation des R2 (2eme recommandé) alors que R1 a bien monté (surement lié à des volumes souhaités par la Hadopi et donc une limite volontaire, il me semble que NXi en avait parlé). Le niveau judiciaire lui est très bas. L’effet “peur” fonctionne bien.
En tout cas, j’aimerai voir en parallèle le graph de transition R1 vers DDL.
L’effet éducatif … avons nous une étude qui indique que le piratage a baissé ?
Le niveau judiciaire est constitué à 20% de relaxe/sans suite et 50% de peines alternatives (#mesures éducatives?). Les grosses condamnation c’est environ 15%
Le 03/01/2018 à 22h36
Le 04/01/2018 à 08h53
je me disais, AUSSI–>ça fait (déjà) bcp. de-monde !
dans 10 ans tt.-le-monde aura été averti au moins 1 fois !
(ils pourront la fermer “leur Hadopi”…. c’est bon, le travail a été fait) ! " />
Le 04/01/2018 à 10h10
Pour progresser, il faut demander toujours plus …. Merci.