Les 145 exigences techniques et éthiques des « solutions algorithmiques » de vidéosurveillance des JO 2024

Après avoir publié une demande d'information détaillant comment les « solutions algorithmiques » de vidéosurveillance expérimentées à l'occasion des JO seront auditées, le ministère de l'Intérieur vient de publier l'appel d'offres détaillant les 145 exigences techniques et éthiques, cumulatives et impératives qu'elles devront respecter.

Le ministère de l'Intérieur vient de publier l'appel d'offres des « solutions algorithmiques de vidéo-protection » qu'il prévoit de déployer avant les Jeux olympiques de 2024, ainsi que « pour d’autres manifestations récréatives, sportives ou culturelles, notamment mais pas exclusivement ». 

Estimée à 2 millions d'euros (hors taxes) et d'un montant maximum de 8 millions, cette « solution logicielle d'intelligence artificielle de vidéo-protection » sera mise en œuvre du 2 novembre 2023 « pour encadrer les manifestations liées à la période de Noël (notamment marchés de Noël, transports associés à la période de Noël) » au 31 mars 2025, et ne fera pas l'objet d'une reconduction.

Le cahier des clauses techniques particulières (CCTP) commence par rappeler le cadre juridique du marché, à savoir le fait que le législateur a autorisé ce déploiement, « à titre expérimental jusqu’au 31 mars 2025, à la seule fin d’assurer la sécurité de manifestations sportives, récréatives ou culturelles, qui, par leur ampleur ou leurs circonstances sont particulièrement exposées à des risques d’actes de terrorisme ou d’atteintes graves à la sécurité des personnes (notamment dans le cadre des prochains jeux Olympiques de 2024) » : 

« Ces traitements ont pour unique objet de détecter, en temps réel, des événements prédéterminés susceptibles de présenter ou de révéler ces risques et de les signaler, aux forces de sécurité intérieure, aux services de police municipale, aux services de la sécurité civile en charge des secours ou aux services internes de sécurité de la RATP ou de la SNCF, qui pourront confirmer l’alerte et prendre les mesures adaptées. »

• Les Jeux olympiques, beta-test de la surveillance algorithmique
• Le Conseil constitutionnel valide la vidéosurveillance algorithmique, avec 2 réserves
• JO 2024 : comment les « solutions algorithmiques » de vidéosurveillance seront auditées

Cette mise à disposition « sera autorisée par arrêté du préfet du lieu de la manifestation culturelle, sportive ou récréative, pour une durée et un périmètre limités » : 

« Une fois commandée par l’État, la solution devra donc pouvoir être installée et désinstallée au fur à mesure des besoins et au plus près de la fin de la manifestation. En cas de manifestations récurrentes en un même lieu, mais espacées dans le temps, les traitements pourront être désactivés plutôt que désinstallés. »

Ni identification biométrique, ni reconnaissance faciale

Une précédente demande d'information, détaillant comment ces « solutions algorithmiques » de vidéosurveillance seront auditées, évoquait plus particulièrement « la détection de risques d’actes de terrorisme ou d’atteintes graves à la sécurité des personnes » « par exemple » (l'expression est soulignée dans le CCP) :

• La présence ou utilisation d’objets abandonnés, armes, départs de feux ;
• Des comportements individuels ou collectifs :
  • Non-respect du sens de circulation ;
  • Franchissement ou présence dans une zone interdite ou sensible ;
  • Présence d’une personne au sol ;
  • Mouvement de foule ;
  • Regroupement de personnes.

Le CCTP évoque de son côté une liste d'évènements fixée par un décret « en cours de publication » : 

• Non-respect du sens de circulation commun par une personne ou un véhicule ;
• Franchissement ou présence d’une personne ou d’un véhicule dans une zone interdite ou sensible ;
• Mouvement de Foule ;
• Densité trop importante de personnes ;
• Présence d’objets abandonnés ;

D'autres sont optionnels : 

• Présence ou utilisation d’une arme, parmi celles mentionnées à l’article R. 311-2 du code de la sécurité intérieure ;
• Présence d’une personne au sol à la suite d’une chute ;
• Départ de feu.

Le cahier des charges rappelle que ces traitements « n’utiliseront aucun système d’identification biométrique, ne traiteront aucune donnée biométrique et ne mettront en œuvre aucune technique de reconnaissance faciale ». Ils ne pourront en outre procéder à « aucun rapprochement, aucune interconnexion ni aucune mise en relation automatisée avec d’autres traitements de données à caractère personnel » : 

« Ils procéderont exclusivement à un signalement d’attention, en temps réel et strictement limité aux événements prédéterminés qu’ils ont été programmés pour détecter. Ils ne produiront aucun autre résultat et ne pourront fonder, par eux-mêmes, aucune décision individuelle ou acte de poursuite. Ils demeureront en permanence sous le contrôle des personnes chargées de leur mise en œuvre. »

Ce dernier point avait fait l'objet d'une « réserve » de la part du Conseil constitutionnel, qui avait tenu à souligner que « le législateur a veillé à ce que le développement, la mise en œuvre et les éventuelles évolutions des traitements algorithmiques demeurent en permanence sous le contrôle et la maîtrise de personnes humaines ».

145 exigences techniques et éthiques, cumulatives et impératives

Le CCTP rappelle également les « exigences techniques et éthiques » imposées par le VI de l'article 10 de la loi du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et qui, « cumulatives et impératives » doivent pouvoir être vérifiées pendant toute la durée du fonctionnement du traitement :

• Des garanties devront être apportées afin que les données d’apprentissage, de validation et de test soient pertinentes, adéquates et représentatives ;
• Le traitement des données d’apprentissage, de validation et de test devra être loyal, reposer sur des critères objectifs et permettre d’identifier et prévenir l’occurrence de biais et d’erreurs ;
• Ces données font l’objet de mesures de sécurisation appropriées ;
• Le traitement devra comporter un enregistrement automatique des signalements des évènements prédéterminés détectés permettant d’assurer la traçabilité de son fonctionnement ;
• Le traitement devra permettre des mesures de contrôle humain et un système de gestion des risques permettant de prévenir et de corriger la survenue de biais éventuels ou de mauvaise utilisation ;
• Le traitement pourra être arrêté à tout instant ;
• Le traitement devra être accompagné d’une documentation technique complète ;
• Le traitement fait l'objet d'une phase de test conduite dans des conditions analogues à celles de son emploi autorisé par le décret mentionné au V de l’article 10 de la loi, attestée par un rapport de validation.

Le fournisseur du traitement devra au surplus « présenter des garanties de continuité, d’assistance et de contrôle humains en vue notamment de procéder à la correction d’erreurs ou de biais éventuels lors de la mise en œuvre et prévenir leur itération ».

Le CCTP détaille à cet effet une liste de 145 exigences, qualifiées d' « impératives » pour celles « impliquant l’irrégularité de l’offre en cas de non conformité », ou d' « importantes » pour celles n’impliquant pas l’irrégularité de l’offre, mais qui seraient cela dit souhaitées par le ministère.

Les solutions devront ainsi obligatoirement être compatibles avec les caméras installées, pouvoir s’adapter à la perspective de l’image « soit par paramétrage (via des IHM utilisées par l’exploitant), soit par auto-configuration (les caméras sont placées à des hauteurs, avec des angles, dans des conditions de luminosités, dans des conditions climatiques différent(e)s) », et fonctionner avec des flux RTSP MULTICAST, UNICAST UDP, UNICAST TCP.

• Le vol à l’étalage fait le lit de la vidéosurveillance algorithmique
• Vidéosurveillance algorithmique : les JO 2024 serviront aussi de « vitrine industrielle »
• Les JO 2024 constitueront « un tournant » pour la surveillance algorithmique de l'espace public

Elles devront, si possible, permettre d’accéder aux données de la solution via des moyens documentés « de façon automatisée et industrielle sans action humaine », et obligatoirement proposer une méthode d’export sur un support amovible USB de l’ensemble des logs et résultats d’algorithmes (vrais et faux positifs) afin d’assurer la traçabilité de leur fonctionnement : 

« Il devra être possible d’extraire les logs et les résultats des algorithmes dans une forme qui sera à définir conjointement répondant à un standard du marché (xls, csv, parquet, json, feather, ...). Ces extractions doivent permettre de réaliser des analyses statistiques dans le temps. »

La solution devrait pouvoir classifier différents types d’objets (« au sens de l’analyse d’image : véhicule, mobilier urbain, ie pas au sens d'objet abandonné »), en fournir la liste, détailler les modalités, délais et prérequis nécessaires à la création de nouvelles classes d'objets (« ex : trains ») « en utilisant les datasets mis à disposition par le service utilisateur sous réserve de disponibilité de ces datasets ».

Veiller à l’éthique de la solution, garantir un contrôle humain

Les équipements devront obligatoirement pouvoir être débranchés du réseau de l’exploitant, démontés dans un délai de cinq jours ouvrés et transportés, soit sur un nouveau site de déploiement, soit sur un lieu de stockage sous responsabilité du titulaire jusqu’au prochain déploiement, soit « pouvoir être transférés successivement sur plusieurs sites pendant la période de l’expérimentation ».

Ils devront donc également permettre l’interconnexion avec les systèmes de « vidéoprotection » préexistants, et fournir un poste de supervision doté de deux écrans de taille adaptée en mesure d’afficher neuf tuiles vidéos par écran.

Le titulaire devra en outre documenter les moyens organisationnels (le terme est souligné dans le CCTP) mis en œuvre pour « veiller à la protection des données à caractère personnel et à l’éthique de la solution », et décrire : 

• le (ou les) jeu(x) de données utilisé(s) lors des phases d’entraînement, de validation et de test de la solution, avec des informations relatives à leur provenance, leur portée et leurs principales caractéristiques, ainsi que la manière dont elles ont été obtenues et sélectionnées, et les données qui leur sont associées (ex : annotations, métadonnées, etc.),
• le modèle d’apprentissage utilisé pour la solution,
• les mesures mises en œuvre pour que le jeu de données utilisé pour la conception soit « représentatif, pertinent et adéquat »,
• les mesures mises en œuvre pour identifier et prévenir l’occurrence de biais et d’erreurs lors la conception de la solution,
• les modalités prévues dans le fonctionnement de la solution pour garantir le contrôle humain.

En outre, les caméras « ne devront ni embarquer d'algorithme d'intelligence artificielle, ni ne seront directement pilotées par des algorithmes d'IA », et « aucun apprentissage de l'IA n'est autorisé pendant le déploiement de la solution » : 

« Cela implique qu'aucune interconnexion extérieure visant à alimenter l'IA en données d'apprentissage ne devra être mise en œuvre. Un apprentissage local peut être réalisé par le titulaire pendant les phases de mises en service et à blanc, mais pas dans la phase d’exploitation. »

Des périphériques chiffrés et effacés de manière sécurisée

Un passage consacré aux mesures de cybersécurité précise que le « principal objectif de sécurité visé » consiste à ce que la solution fournie et déployée « ne puisse pas nuire au bon fonctionnement, à la disponibilité et à la protection des données des systèmes de vidéoprotection historiquement mis en œuvre par les entités utilisatrices » : 

« Les systèmes de vidéoprotection en production doivent impérativement rester opérationnels pour permettre aux services utilisateurs d’assurer leurs missions. Plus particulièrement, dans l’hypothèse d’une prise de contrôle malveillante de la solution du titulaire, il ne doit pas être possible de compromettre le système de vidéoprotection avec lequel il est interconnecté afin, par exemple, de le rendre indisponible ou d’exfiltrer les images vidéo. »

« Par ailleurs », précise le CCTP, la solution devra aussi « être conçue et déployée pour se prémunir des événements redoutés suivants » :

• les flux vidéos sont interceptés et détournés par un acteur malveillant  ;
• un acteur malveillant compromet le système de vidéoprotection intelligent afin :
  • de modifier le comportement de l'IA et sa capacité à détecter les cas d'usages souhaités ;
  • d’envoyer de fausses alertes pour mobiliser inutilement les forces de sécurité (intérieure/civile) et créer des troubles à l'ordre public ;
  • par rebond de rendre le système de vidéoprotection de l’exploitant inopérant ;
• un acteur malveillant compromet les ressources permettant l'apprentissage de l'IA et/ou son maintien en condition opérationnelle et de sécurité afin de nuire à son bon fonctionnement de la solution.

Le système d'information de la solution devra dès lors être séparé du système d'information de production de la vidéoprotection, ne pas être connecté « avec l'extérieur (comprendre l'Internet) » mais être dans une « bulle isolée et indépendante » déployée et hébergée sur des serveurs et équipements locaux sur le site du service utilisateur.

Le CCTP précise dès lors que « l'usage de service nuagique n'est pas autorisé », que « toutes actions d’administration, d’exploitation ou de supervision depuis Internet sont interdites », et que les composants logiciels ne disposent pas de comptes et privilèges d’administrateur système (par exemple, « root » pour Linux).

• Vidéosurveillance : ce que les préfectures contrôlaient (ou pas)
• Caméras « augmentées » : la CNIL alerte sur la tentation du « solutionnisme technologique »
• Le rapport parlementaire pro-vidéosurveillance déplore l'« opacité » du ministère de l'Intérieur

Les périphériques amovibles devront si possible être « identifiés », de sorte que « seuls les périphériques identifiés peuvent être utilisés dans le cadre du bon fonctionnement de la solution », mais également « chiffrés » pour limiter l'impact en cas de perte, et effacés de manière sécurisée « après chaque utilisation ».

Les disques durs et partitions devront eux aussi, dans la mesure du possible, être chiffrés « afin de protéger les données et rendre plus facile les opérations d'effacement des données ». Lors du démontage de la solution pour transfert sur un autre site, le titulaire devra par contre obligatoirement « prouver à l’exploitant qu’il a bien effacé tous les supports de stockage utilisés avec une procédure sécurisée ».

Le CCTP précise enfin que la « sobriété numérique » de la solution sera, elle aussi, évaluée. La date limite de réception des offres a été fixée au 11 septembre.

• Téléchargez le CCTP