L’autorité des télécoms cherche deux entrepreneurs d’intérêt général (EIG) pour monter une base de données centrale. Ces nouvelles fondations doivent aider à automatiser des traitements, mieux partager en interne et accélérer le mouvement sur l’Open Data.

Il y a deux ans, l'autorité des télécoms s'est lancée en grande pompe dans la régulation par les données. Depuis, elle a enrichi ses observatoires et publié de nombreux indicateurs, ainsi que des cartes de couverture mobile et des déploiement fibre. Problème : beaucoup de traitements restent manuels.

« Aujourd’hui les données sont éclatées et partagées manuellement [entre services] quand on en fait la demande. Le point crucial est de centraliser toutes les données, pour uniformiser les traitements et les partager et les croiser plus facilement. L’idée est aussi de démultiplier les possibilités d'Open Data » nous explique Laurent Toustou, chef de l’unité de régulation par les données.

L’Arcep compte donc y remédier avec une « datawarehouse », un « entrepôt à données », destiné à centraliser ses informations. À la mi-septembre, elle a publié une annonce pour deux entrepreneurs d’intérêt général, un data scientist connaissant la cartographie et un ingénieur de données.

En dix mois, ils doivent aider à concevoir et construire cet entrepôt, à intégrer aux processus de l’autorité, sous le mentorat de Laurent Toustou.

Une prise de conscience l’an dernier

Selon l’autorité, la prise de conscience a eu lieu à la publication des premières cartes de couverture mobile détaillées, en septembre dernier. Nous avions reçu les données en avance, fourni des statistiques de couverture mais surtout fait part des nombreuses difficultés à traiter ces données pour un néophyte en cartographie (voir notre analyse).

« Le premier constat, un peu choc, est que l’Open Data est un excellent pas mais que ça ne suffisait pas. On met les données sur la table et peu de gens s'en saisissent » estime l’Arcep. En tête : monreseaumobile.fr et la carte des déploiements de fibre.

Industrialiser les traitements et croisements

 « Jusqu'à présent, les données sont traitées de manière semi-industrielle. Toute évolution demande beaucoup de traitements » estime Laurent Toustou. Par exemple, mettre à jour monreseaumobile.fr demande de réadapter et de remettre en ligne toutes les cartes. Une corvée qu’il espère voir automatisée.

En groupant toutes les données croisables dans une même base, et en enlevant ces manipulations des mains des agents, l’autorité espère faire émerger plus d’analyses et de croisements. Elle compte aussi développer des outils pour faciliter l’Open Data.

Toujours sur les cartes de couverture mobile, d’autres administrations se plaindraient du format publié (des cartes en format « shape »), qu’elles ne sauraient pas traiter. Le projet d’entrepôt aiderait à en sortir des fichiers plats (« csv ») plus à leur goût.

 « Aujourd’hui, nous n'avons pas les ressources pour publier l'Open Data dans ces différents formats » reconnaît Toustou.

La question serait bien plus technique qu’humaine. Les agents (pour partie « technophiles ») seraient déjà habitués aux outils, et l’entrepôt doit s’adapter à ceux utilisés par l’institution. D’autant que certains viendraient déjà avec des idées d’amélioration, compliquées à concrétiser en l’état.

Aller vers des outils hybrides

À terme, l’Arcep veut être capable de fournir des lots de données ou des outils combinant les réseaux fixes et mobiles. Elle imagine par exemple un outil pour trouver un logement ou lieu de travail avec la fibre et la 4G. Le travail pour y arriver reste « énorme » pour l’institution.

Lors de nos analyses des cartes de couverture mobile sur l’année, nous constations des différences importantes dans les données fournies par les opérateurs, et redistribuées par l’Arcep. Cet entrepôt devrait aussi aider à contrôler la cohérence des données reçues, même si ce serait plus un effet qu’un but.

Pour le moment, l’unité dédiée à la régulation par les données est composée de deux personnes, qui « impulsent la logique » et tentent d’impliquer tous les agents. Au quotidien, ce sont ces derniers qui traitent et redistribuent les données.

Intégrer des profils inhabituels

Pour le moment, l’autorité a « une première idée d'à quoi ça peut ressembler ». L’arrivée de deux entrepreneurs d’intérêt général doit aider à tracer la voie. « On sait où on veut aller mais pas encore exactement comment. Ils doivent nous aider à revoir la manière dont on l'a pensé. On doit aussi leur faire confiance » estime leur futur mentor.

Pourquoi passer par ce programme, chapeauté par Etalab ? « Ce ne sont pas des profils qu'on a l'habitude de recruter. L’EIG a un fort pouvoir d'attraction pour eux, plus que l'Arcep » répond d’abord l’institution.

« Les solutions clés en main existent mais ne sont parfois pas adaptées à nos besoins. Certains outils mènent des traitements automatisés qu'on ne peut pas contrôler. Nous avons donc besoin de sur mesure. Dans ce cadre, avoir des EIG en interne apporte bien plus de souplesse qu’une SSII » ajoute-t-elle.

Etalab aiderait à trouver un langage commun entre ces entrepreneurs et les services publics. Le programme inclut aussi un accompagnement de la mission et des réunions entre les EIG. Il apporterait surtout une vision globale des données dans l’Etat, que semble apprécier l’autorité.

L’Arcep et son « Datareg » est l’une des 15 lauréats de cette session 2019. Les entrepreneurs candidats ont jusqu’à la mi-octobre pour se présenter, et être sélectionnés par l’autorité et Etalab.

La promesse de l’API

Surtout, au-delà des données et de leurs croisements, l’autorité veut diversifier les manières d’importer et d’exporter des données. La création d’API (Application Programming Interface) est une des promesses de cet entrepôt, en plus des observatoires et publications régulières sur data.gouv.fr.

En principe, ces interfaces sont consultables automatiquement ou sur demande, pour obtenir des données précises ou des croisements sans récupérer toute la base. Une flexibilité aux antipodes de l'Open Data actuel de l'Arcep, hors cartes de couverutre. « Les API faisaient partie des choses que nous avions en tête, pour aller un cran plus loin que l'open data. Il y a une vraie demande, même si cela pose plein de questions. »

L’institution envisage aussi de passer par des API pour mieux récupérer les informations des opérateurs, aujourd’hui obtenues par « décisions de collecte » régulière.

Elle promet aussi de s’ouvrir à d’autres acteurs, notamment venus du crowdsourcing. L’Arcep tente de se rapprocher de ces services, qu’elle avait vertement critiqués à l’été pour l’incohérence de leurs méthodes et résultats de mesures. QoSi devrait fournir les données de son application 4GMark, en plus de ses mesures classiques.

En parallèle, l’Arcep assure vouloir ouvrir le code de ses créations, entre autres à destination des autres institutions. Elle privilégierait d’ailleurs l’utilisation de logiciels open source depuis un an et demi.

Aucun calendrier n’est donné sur les premiers résultats de ces travaux, même si les entrepreneurs d’intérêt général ont moins d’un an pour poser les bases.