Dans les coulisses de Next : comment nous avons contourné les limitations d’Enedis

Avec THE méthode : La Rache

Dans les coulisses de Next : comment nous avons contourné les limitations d’Enedis

Next inaugure un nouveau format d’article : une plongée en profondeur sur nos méthodes de travail, pourquoi nous réalisons certains articles et comment nous procédons. C’est autant l'occasion d'expliquer nos trouvailles que de vous demander s’il existe d’autres approches.

Le 02 juin à 09h07

Commentaires (33)

votre avatar
Je viens de faire le test. En mettant dateDebut=2022-06-02&dateFin=2025-06-01, qui correspond à la date la plus ancienne pour mon PDL. J'ai récupérer l'ensemble des données, pas eu besoin de script

edit: à la journée, en mettant CSV cela ne marche pas erreur interne :). L'essai avec les horaires ne marche pas, malgré plusieurs essais la limite est de 7 jours. Il prend dateDebut + 7 jours.
votre avatar
En lisant l'article je me suis posé la question, bien joué.
votre avatar
Avec la consommation détaillée heure par heure ?
Car j’ai testé plusieurs fois ici sur deux comptes différents, et je ne récupérais jamais plus de sept jours de consommation détaillée avec le détail horaire
votre avatar
J'avais fait le même test que toi ce WE avec le même résultat : ça ne charge qu'une semaine.
votre avatar
Wayback Machine ? :D
votre avatar
C'est la première chose à laquelle j'ai pensé en arrivant vers la fin de l'article, qui parle de continuer à assembler des tronçons de 7 jours.
Il faut garder à l'esprit cependant qu'Enedis a peut-être des contrôles en place pour repérer des téléchargements trop nombreux qui ne respectent pas la limite des 7 jours. Et ça risque de démarrer une course à l'armement un peu ridicule.
D'un autre côté, un script qui télécharge les blocs de 7 jours à une vitesse inhumaine, ça peut aussi lever des alarmes, hein? Ca dépend de si et comment ils surveillent le comportement de leurs client.
votre avatar
Il y a une tempo de 2,5 secondes entre chaque téléchargement : assez pour modifier 2 dates à la main.

De toute façon, comme l'indique Sébastien, ce sont nos données, pas celles d'Enedis et ce sont des données personnelles. Si Enedis part dans l'escalade, il suffira de mettre la CNIL en action après leur avoir demandé formellement de donner un accès facile à nos données en rappelant le RGPD. Toute mesure restreignant artificiellement cet accès est contraire au RGPD.
votre avatar
C'est malheureusement la tendance.
Je cherchais une facture sur Carrefour.fr, j'ai vu tellement de captcha que je me suis cru sur MegaUpload à la Grande Époque.
Captcha qui d'ailleurs doivent aujourd'hui être traité plus rapidement par IA que par des humains.

Quant à la CNIL, on la connait très dissuasive...
votre avatar
Tant que çà reste marginal, a priori rien.

C'est a dire, tant que le coût pour développer un bridage est supérieur au cout que l'infrastructure doit déployer pour soutenir cette charge non prévue. A l'échelle d'Enedis, 3 personnes étalés dans la semaine qui lancent un script dans un navigateur, ne représente pas un problème pour leur infrastructure.
votre avatar
Avez-vous essaye en passant par le formulaire de recuperation des donnees personnelles ?

https://www.enedis.fr/donnees-personnelles

Les donnees de consommation sont dans la liste.

Pour le moment, j'ai une erreur technique...
votre avatar
J'ai essayé mercredi soir (voir mon commentaire sous l'autre article)

Je n'ai rien reçu pour le moment mais entre le jeudi de l'Ascension et le WE, ça ne veut rien dire sauf que ça ne doit pas être automatique.
Je donnerai de l'info sous le commentaire (ou ailleurs suivant le temps de réponse).
votre avatar
Si tu peux/veux, n’hésite pas à m’envoyer un message quand tu as la réponse, ça m’intéresse grandement :)
votre avatar
Si j'y pense, oui, sans problème. Normalement, c'est réponse en 30 jours max (dit lors du remplissage du formulaire de mémoire)
votre avatar
Un fichier CSV de quelques dizaines de milliers de lignes avec trois colonnes, cela ne pose aucun problème (3,8 Mo pour rappel).
Ne pas oublier qu'ENEDIS ce sont 37,5 millions d'utilisateurs,
votre avatar
Et alors ?

Ils ne vont pas demander ces données plus de 2 ou 3 fois par an pour les plus actifs et la majorité ne va rien demander.

De plus, il vaut mieux avoir une seule demande pour récupérer ces données qu'une soixantaine. C'est plus économe en terme de charge de serveur. La consommation de bande passante n'est pas un problème en 2025.
votre avatar
Le soucis c'est qu'on ignore la structure des données, où c'est hébergé et comment c'est traité et la charge usuelle.

De sûr chez mon client qui fait de la télémesure avec AWS avec beaucoup moins d'appareil, c'est significativement moins cher de dire "on met les données de plus de 3 mois dans un BDD archives à part" avec des traitements non temps réels par rapport au reste.

Cela ne serait pas choquant qu'Enedis ait mis en place cette mesure pour une raison économique du moins à court terme le temps de trouver une solution satisfaisante pour obtenir au moins la dernière année de consommation d'un coup.
votre avatar
Les données sont disponibles en temps réel pour les sociétés qui font des contrats avec Enedis pour offrir des services à partir de ces données.
Ce commentaire le prouve. Voir ici pour un peu plus d'infos.

D'ici à ce que Enedis gagne de l'argent grâce à ces sociétés, ça expliquerait pourquoi Enedis restreint l'accès à leurs propres donnée pour particuliers.

Ah oui, en plus elles sont bien disponibles jusqu'à 2 ans en arrière pour les particuliers, mais il faut les charger 7 jours à la fois. C'est d'ailleurs l'objet de l'outil de Next : enchaîner automatiquement les requêtes vers Enedis.
votre avatar
je ne dis pas que le temps réel n'est pas possible, mais que le coût peut être plus important.
D'ici à ce que Enedis gagne de l'argent grâce à ces sociétés, ça expliquerait pourquoi Enedis restreint l'accès à leurs propres donnée pour particuliers.
C'est peut être le truc justement. Si les sociétés payent pour l'accès à l'API, Enedis peut avoir un bilan nul ou positif en laissant ces opérateurs taper dans la BDD mais qu'Enedis ne souhaite pas pour l'instant permettre à des gens qui ne paient pas ces dits accès.

Je ne dis pas que le choix retenu est bon, si ça se trouve ça a été fait avec les pieds ou c'est en effet une insulte directe aux usagers. Mais on peut aussi retenir l'hypothèse qu'en l'état actuel l'accès à ces données a des coûts non négligeables et que la limitation en est la conséquence.

Tant qu'on n'a pas d'information in situ on ne peut pas savoir pourquoi ça a été conçu ainsi. Je doute qu'Enedis ait fait ça pour juste emmerder les particuliers, la raison est probablement technique ou financière.

Cela pourrait être le rôle au hasard d'un média tel que Next d'obtenir l'information réelle. :>
votre avatar
"la raison est probablement technique ou financière."
ne pas oublier la possibilité de flemme / incompétence, du coté développement ou conception
quelqu'un s'est dit que l'interface devait afficher 7j et son idée a été retenue
quelqu'un a développé un système pour retourner 7j de données
personne s'est demandé si c'était pertinent / pratique d'avoir un système plus généraliste qui n'était pas verrouillé sur 7j ...

il se peut tout à fait qu'il y ait une limitation volontaire due à des contraintes techniques ou financières, mais elle peut tout aussi bien venir de la connerie humaine :/
votre avatar
Au pire ils activent une file d'attente cloudflare et c'est marre
votre avatar
C'est bien mais dès que Enedis change un truc ça ne marche plus.

J'ai pas la chance d'avoir un linky et mon fournisseur ne propose pas de relevé récupérable.
Du coup je suis passé par la case Shelly 3em et un petit script python fais maison pour récupérer les données et stocker ça dans une base sqlite quand je démarre mon pc. Puis un serveur Grafana pour afficher les courbes souhaitées.
L'avantage c'est que le shelly a 3 sondes donc j'ai ma conso totale, ma conso eau chaude sanitaire et la production de mon kit solaire.
votre avatar
"Linky : permettre d’éclairer les consommateurs sur leurs choix." Vous êtes bien naïfs dites donc. Ecouter la communication officielle d'une boite n'a jamais fourni la vérité
votre avatar
Bonjour, a propos de l'historique aui ne dépend pas du fournisseur, est ce quelqu'un a deja constaté la conservation de l historique ? Pour ma part je l ai perdu en passant de EDF (Tempo) à Engie mode base. C'est peut être du au changement de type de tarification ?
votre avatar
Il suffit d'aller sur app.lite.eco et ça fait la collecte, la comparaison de toutes les offres du marchés, etc.
votre avatar
Pourquoi refiler ses données personnelles à un tiers alors que l'on peut les analyser nous-mêmes ? :stress:

Mais merci de démontrer qu'un tiers peut accéder à nos données personnelles auprès d'Enedis plus facilement que nous ne le pouvons.
votre avatar
Comparer 142 offres d'électricités soit même ? Sachant que ça bouge tout le temps et que chaque offre est spécifique ?
Bon courage...
votre avatar
Seb, si jamais t'a la même avec les données non pas d'énédis mais de home assistant, je suis preneur :3
votre avatar
Chez EDF on est pas trop mal. J'ai jamais pensé à passer par Enedis directement, car y'a tout, je peux récupérer facilement la conso quotidienne sur 3 ans en un clic. Télécharger une fois par an le suivi suffit largement.

Le suivi horaire (chez edf donc) est rétroactif jusqu'à quelle période si je l'active ?
votre avatar
Note : dans 98% des cas, si tu fais un clic droit sur la ligne du fichier téléchargé dans l'onglet réseau, tu peux copier le lien cURL, et quand tu l'utilise dans une console, ça marche direct. Pas besoin de cookies, de mots de passes ou autre. C'est ultra pratique pour faire un bête script qui fait une boucle avec tous les numéros/dates etc.
C'est ultra pratique pour récupérer des données facilement ;)

(le problème étant que dans le cas d'Enedis, ça ne fonctionne pas, parce qu'ils font chier…)
votre avatar
sinon il y a l'API, qu'on peut relier à jeedom ou home assistant et qui permet d'avoir toutes les données...
votre avatar
à zut j'aurais du lire les comm' avant d'écrire le miens :mdr2:

c'est probablement ce genre de machin qui fait que côté fournisseurs de données il faut mettre des gardes fous qui font ensuite chier tout le monde...
votre avatar
Il ne suffit pas de demander demander au DPO l'accès aux données personnelles ? un mail ne prend pas 1/2j de galères :)

Petite remarque sur le fond un fichier xlsx c'est un peu le plus pourri des formats : techniquement c'est un fichier zip d'une multitude de fichiers xml, ça prend une grosse charge CPU et beaucoup de mémoire pour pas grand chose, la limite d'Enedis vient sans doute de là.
Y'a probablement des scripts qui existaient à base de récupération de tout l'historique toutes les 5 min pour pondre une interface +/- pourrie, côté domotique c'est fort probable qu'il y ait des plugins de scripts kiddies qui chargent l'ensemble de l'historique pour afficher deux KPI en mousse (au hasard détail dernière heure, et cumul des 24 dernières heures) sur un homeassistant-like que personne ne consultera jamais.

il faudrait peut-être simplement qu'enedis sorte un format fichier plat plus brut (csv-à-la-française avec des séparateurs ";"), avec une limite de download 1x par jour du détail total par compteur si c'est trop lourd.
votre avatar
Encore faut-il pouvoir écrire un mail au DPO !

On peut soit utiliser des demandes pré-établies conformes au RGPD, mais à coup de cases à cocher sur leur site, soit écrire un courrier postal pour envoyer un formulaire papier imprimé depuis un PDF et avec une copie d'une pièce d'identité. Et tant pis si tu n'as pas d'imprimante !
Je n'ai pas vu d'adresse e-mail correspondant au DPO/DPD.

Pour info, j'ai demandé l'accès à toutes mes données personnelles le 28 mai au soir et je n'ai encore rien reçu. Ce n'est pas comme si ces informations pouvaient être récupérées et envoyées automatiquement en quelques minutes ! J'ai l'impression qu'ils vont utiliser au maximum le délai de 30 jours qu’ils m'ont indiqué.
Par contre, ils n'ont pas intérêt a dépasser d'un seul jour parce que ce sera plainte à la CNIL immédiatement.

Dans les coulisses de Next : comment nous avons contourné les limitations d’Enedis

  • Je n’aime pas qu’Enedis limite arbitrairement l’accès à MES données

  • Trois essais infructueux

  • Victoire en surveillant l’activité réseau !

  • Enedis, si tu nous lis…

Fermer