Microsoft Counterfit, un outil pour tester la sécurité des modèles de machine learning

Counterfit était initialement une simple série de scripts conçus pour attaquer des modèles et observer leur comportement. Selon une étude réalisée par ses soins, Microsoft aurait découvert que sur 28 organisations ayant participé, 25 estimaient que leurs modèles n’étaient pas assez robustes.

Les scripts ont évolué pour devenir un outil complet, incluant l’automatisation des tests. Counterfit est indépendant des environnements, modèles et données, et peut donc être utilisé – a priori – dans tous les développements, sur site ou dans le cloud.

Counterfit peut attaquer plusieurs modèles à la fois et mettre en évidence d’éventuelles faiblesses dans les services utilisés pour l’apprentissage automatique ou profond. Les attaques réalisées peuvent être de type pénétration ou recherche de failles. Les résultats sont enregistrés dans des journaux.

Microsoft ajoute que son outil peut être facilement utilisé avec les entreprises se servant de Metasploit ou PowerShell Empyre. Il est open source (licence MIT) et peut être récupéré depuis son dépôt GitHub.