La fondation Raspberry Pi vient d’annoncer un nouveau capteur optique (de chez Sony) pour son micro-ordinateur : l’AI Camera. Comme son nom l’indique, elle intègre des fonctionnalités liées à l’intelligence artificielle. Elle est notamment « conçue pour classifier des personnes/animaux/objets ».

Début juin, la fondation Raspberry Pi présentait un module AI (ou AI Kit), mais qui n’était compatible qu’avec la dernière itération du micro-ordinateur : le Raspberry Pi 5. Ce NPU externe vendu 79,50 euros promet des performances jusqu’à 13 TOPS pour l’intelligence artificielle, mais il fallait acheter un capteur optique en plus pour en profiter pleinement.

• Même le Raspberry Pi 5 succombe à l’IA…

Un capteur IMX500 de Sony, avec IA intégrée

La fondation revient aujourd’hui avec une « AI Camera », compatible cette fois avec tous les modèles Raspberry Pi, y compris les Zero. L’AI Camera est annoncée à 70 dollars par la fondation et on la trouve à 80,40 euros chez Kubii, soit au même niveau que le module AI.

Le module utilise un capteur IMX500 de Sony, qui se suffit à lui-même pour la partie intelligence artificielle. En effet, comme l’explique Sony, l’IMX500 « combine un capteur d'image avec un ISP et de la SRAM intégrée dédiée pour permettre un traitement d'IA » en local. Il est combiné avec un micro-contrôleur maison – le RP2040 – « pour la gestion des réseaux de neurones et du firmware ».

Côté caractéristiques techniques, l’IMX500 est annoncé pour 12,3 Mpx (4 056 x 3 040 px) avec la possibilité d’enregistrer des vidéos en 60 fps, et jusqu’à 240 fps si on se limite au 1080p. Avec le traitement IA, la sortie vidéo est par contre limitée à 30 fps. La mémoire interne est de 84 Mo, à la fois pour le firmware, les poids du réseau de neurones et les calculs.

« Conçue pour classifier des personnes/animaux/objets »

« Grâce à la suite d’outils IA de Sony, les modèles de réseaux neuronaux existants utilisant des frameworks tels que TensorFlow ou PyTorch peuvent être transformés pour fonctionner efficacement sur la caméra AI », affirme la fondation.

Elle ajoute qu’« un processeur de signal d'image (ISP) intégré exécute les étapes de traitement d'image de base sur la trame du capteur (principalement la conversion Bayer vers RGB et le recadrage/remise à l'échelle) et envoie la trame traitée directement dans l'accélérateur d'IA. Une fois que le modèle de réseau neuronal l’a traité, elle est transférée vers le Raspberry Pi avec la trame Bayer via le bus de caméra CSI-2 ». La puissance de calcul n’est toutefois pas précisée.

Selon Kubii, ce système est « conçu pour classifier des personnes/animaux/objets, localiser avec précision les objets et silhouettes, réaliser le suivi des objets en mouvements en temps réel à travers des séquences vidéo,... ». Le revendeur affirme que, selon Sony, le traitement ne prendrait que « 3,1 millisecondes pour la reconnaissance d’objets ».

AI Kit ou AI Camera ?

Si vous vous demandez s’il faut acheter le module AI ou la caméra AI, la fondation apporte des éléments de réponse : « Le kit AI a des performances théoriques supérieures à celles de la caméra AI et peut prendre en charge une gamme plus large de modèles, mais il n'est compatible qu'avec Raspberry Pi 5 ».

De son côté, la caméra AI est une solution plus compacte et moins chère si vous n’avez pas déjà de capteur et un Raspberry Pi d’ancienne génération. Kubbi annonce une compatibilité du Raspberry Pi 3 au 5, avec les Zero et Zero 2W en prime.

De la documentation pour les développeurs est disponible par ici. Sony en propose également sur cette page.