Microsoft propose depuis hier soir un nouvel outil de gestion de captures d’écran, enrichi par du machine learning. Le projet sert plusieurs objectifs dont une démonstration des capacités d’Azure, fournir une vraie aide aux utilisateurs et montrer par l’exemple comment un outil commun peut être amélioré via un peu d’IA.

Snip Insights est donc un outil open source (licence MIT) capable d’analyser les captures d’écran pour en tirer des renseignements et proposer des actions. Par exemple, reconnaître automatiquement un endroit ou un personnage connu, extraire un texte depuis la photo d’un livre à la manière d’un OCR, etc.

Des capacités connues, mais que l’éditeur rassemble ici dans un même projet, toujours dans un objectif de démonstration. D’autant que l’outil est multiplateforme (.NET/Mono/XamarinForms), l’outil voulant faire ses preuves à un maximum de développeurs.

Snip Insights est après tout une vitrine d’Azure et ses API, notamment Computer Vision pour l’analyse d’images, Bing Search pour leur recherche, Translator Text pour compléter Computer Vision et traduire du texte à la volée, ou encore Content Moderator pour la gestion.

Les intéressés pourront télécharger l’outil depuis la page de présentation du projet. Le code source est récupérable depuis le dépôt GitHub associé. Notez que la compilation du projet réclamera Visual Studio 2017 15.8 ou Visual Studio pour Mac 7.6.3