AI Camera pour Raspberry Pi : un capteur optique à 80 euros, avec IA intégrée
Une framboise sous stéroïde
La fondation Raspberry Pi vient d’annoncer un nouveau capteur optique (de chez Sony) pour son micro-ordinateur : l’AI Camera. Comme son nom l’indique, elle intègre des fonctionnalités liées à l’intelligence artificielle. Elle est notamment « conçue pour classifier des personnes/animaux/objets ».
Le 30 septembre à 11h00
4 min
Hardware
Hardware
Début juin, la fondation Raspberry Pi présentait un module AI (ou AI Kit), mais qui n’était compatible qu’avec la dernière itération du micro-ordinateur : le Raspberry Pi 5. Ce NPU externe vendu 79,50 euros promet des performances jusqu’à 13 TOPS pour l’intelligence artificielle, mais il fallait acheter un capteur optique en plus pour en profiter pleinement.
Un capteur IMX500 de Sony, avec IA intégrée
La fondation revient aujourd’hui avec une « AI Camera », compatible cette fois avec tous les modèles Raspberry Pi, y compris les Zero. L’AI Camera est annoncée à 70 dollars par la fondation et on la trouve à 80,40 euros chez Kubii, soit au même niveau que le module AI.
Le module utilise un capteur IMX500 de Sony, qui se suffit à lui-même pour la partie intelligence artificielle. En effet, comme l’explique Sony, l’IMX500 « combine un capteur d'image avec un ISP et de la SRAM intégrée dédiée pour permettre un traitement d'IA » en local. Il est combiné avec un micro-contrôleur maison – le RP2040 – « pour la gestion des réseaux de neurones et du firmware ».
Côté caractéristiques techniques, l’IMX500 est annoncé pour 12,3 Mpx (4 056 x 3 040 px) avec la possibilité d’enregistrer des vidéos en 60 fps, et jusqu’à 240 fps si on se limite au 1080p. Avec le traitement IA, la sortie vidéo est par contre limitée à 30 fps. La mémoire interne est de 84 Mo, à la fois pour le firmware, les poids du réseau de neurones et les calculs.
« Conçue pour classifier des personnes/animaux/objets »
« Grâce à la suite d’outils IA de Sony, les modèles de réseaux neuronaux existants utilisant des frameworks tels que TensorFlow ou PyTorch peuvent être transformés pour fonctionner efficacement sur la caméra AI », affirme la fondation.
Elle ajoute qu’« un processeur de signal d'image (ISP) intégré exécute les étapes de traitement d'image de base sur la trame du capteur (principalement la conversion Bayer vers RGB et le recadrage/remise à l'échelle) et envoie la trame traitée directement dans l'accélérateur d'IA. Une fois que le modèle de réseau neuronal l’a traité, elle est transférée vers le Raspberry Pi avec la trame Bayer via le bus de caméra CSI-2 ». La puissance de calcul n’est toutefois pas précisée.
Selon Kubii, ce système est « conçu pour classifier des personnes/animaux/objets, localiser avec précision les objets et silhouettes, réaliser le suivi des objets en mouvements en temps réel à travers des séquences vidéo,... ». Le revendeur affirme que, selon Sony, le traitement ne prendrait que « 3,1 millisecondes pour la reconnaissance d’objets ».
AI Kit ou AI Camera ?
Si vous vous demandez s’il faut acheter le module AI ou la caméra AI, la fondation apporte des éléments de réponse : « Le kit AI a des performances théoriques supérieures à celles de la caméra AI et peut prendre en charge une gamme plus large de modèles, mais il n'est compatible qu'avec Raspberry Pi 5 ».
De son côté, la caméra AI est une solution plus compacte et moins chère si vous n’avez pas déjà de capteur et un Raspberry Pi d’ancienne génération. Kubbi annonce une compatibilité du Raspberry Pi 3 au 5, avec les Zero et Zero 2W en prime.
De la documentation pour les développeurs est disponible par ici. Sony en propose également sur cette page.
Le 30 septembre à 11h00
AI Camera pour Raspberry Pi : un capteur optique à 80 euros, avec IA intégrée
-
Un capteur IMX500 de Sony, avec IA intégrée
-
« Conçue pour classifier des personnes/animaux/objets »
-
AI Kit ou AI Camera ?
Commentaires (4)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 30/09/2024 à 12h28
#1
A quand le tuto Next ? 🙈
Le 30/09/2024 à 13h56
#1.1
Un exemple :
https://www.tylerbisk.com/meng/
Modifié le 30/09/2024 à 14h06
#2
Y compris le B1?
Diantre! Le distributeur de croquettes sera capable de servir des rations personnalisées
--
EDIT: ha non:
«
Raspberry Pi 5~Raspberry Pi 4~Raspberry Pi 3B+~Raspberry Pi 3 A+~Raspberry Pi 3~Raspberry Pi Zero~Raspberry Pi Zero 2 W
»
Le 30/09/2024 à 15h01
#3