Les photos en très basse luminosité réalisées avec un smartphone sont généralement peu satisfaisantes. Un ingénieur de Google s'est penché sur la question et dévoile les résultats de ses recherches. Le rendu est bon, mais nécessite une certaine puissance de calcul pour y arriver. Par contre, cette solution n'est pas (encore ?) disponible.

L'intelligence artificielle est au cœur d'une grosse partie de la stratégie des services de Google. La photo n'est pas en reste et le géant du Net mise beaucoup sur son service Photos qui permet de sauvegarder et organiser les clichés. Il mène également de nombreuses expérimentations sur le sujet, dont une qui semble prometteuse sur des photos en basse luminosité depuis un smartphone.

Au MWC de Barcelone, les smartphones montraient leurs muscles sur la photo

Les capteurs des téléphones ne cessent de s'améliorer avec un rendu et un nombre de pixels toujours plus grand avec de la stabilisation optique, au moins sur les modèles haut de gamme. Les constructeurs se livrent d'ailleurs une féroce guerre de communication sur le sujet.

Au MWC de Barcelone, nous avons ainsi pu tester le zoom 5x « sans perte » d'Oppo (mélangeant optique et algorithme), qui donnait de bons résultats même s'il ne s'agissait que de prototypes. Il y avait également la caméra de Sony capable de monter jusqu'à 960 ips pour réaliser des ralentis.

Les doubles capteurs à l'arrière se généralisent, y compris sur les modèles moyen de gamme, parfois avec des fonctionnalités supplémentaires. C'est notamment le cas du LG G6 qui permet de passer automatiquement d'un capteur à l'autre lorsque vous zoomez, pour limiter les pertes.

De manière générale, les smartphones peuvent donc remplacer les appareils photo numériques dans certaines conditions, mais pas toutes bien évidemment. En basse luminosité, ces derniers gardent souvent l'avantage et proposent une bien meilleure qualité.

Google s'intéresse aux clichés en basse luminosité sur smartphone

Dans un billet de blog, Florian Kainz (ingénieur logiciel chez Google), présente les résultats d'une expérimentation maison. Elle prend la forme d'une application Android – non disponible publiquement – qui gère manuellement les options de la caméra : temps d'exposition, ISO et autofocus. 

Il n'y a pas de secret, en (très) basse luminosité il faut augmenter les deux premiers paramètres pour capturer le plus de lumière possible. De son côté, l'autofocus n'arrive généralement pas à faire la mise au point dans des scènes trop sombres. Kainz s'intéressant principalement aux photos de paysage et du ciel, il l'a simplement placé sur « infini ».

Prendre des dizaines de photos et les combiner pour améliorer le rendu

Le concept de son application est simple : elle prend plusieurs dizaines (32 ou 64 dans les exemples ci-dessous) de photos d'une même scène avec un temps d'exposition de 2 ou 4 secondes en fonction de ce que permet le smartphone. Bien évidemment, il faut installer ce dernier sur un support pour qu'il ne bouge pas, mais c'est la même chose avec un APN et un temps d'ouverture aussi long.

Il place ensuite un morceau de scotch devant l'objectif et reprend une salve de photos pour ne capturer que le bruit généré. Il a ensuite utilisé un algorithme maison afin de combiner la première série d'images afin de « nettoyer la majeure partie du grain », puis il a utilisé la seconde (les photos avec le capteur obturé) pour supprimer une partie des variations dues à ce dernier.

Comme on peut le voir sur les images ci-dessous, le résultat est assez impressionnant :

Photo avec la technique de Kainz, une autre avec le mode HDR+ du smartphone (la luminosité a été augmentée dans le rectangle)

Pour les photos du ciel, il faut prendre en compte la rotation de la Terre

L'ingénieur s'est ensuite attelé à un problème différent : prendre en photo un ciel étoilé de nuit. Si en 4 secondes les astres n'ont pas le temps de bouger suffisamment, avec des dizaines de photos leur position n'est plus la même au début et à la fin, ce qui donne un effet de flou.

Il est possible de corriger le tir en alignant les étoiles sur les différentes images, mais cela fait bouger le sol, qui devient flou à son tour. En combinant les deux, il affirme être capable d'arriver à un résultat net :

 
Une photo avec un temps d'exposition de 2 s, la même avec le traitement appliqué

Et maintenant ? 

Si cette technique semble donner de bons résultats, elle n'est pas sans défaut. Pour commencer, elle réduit fortement la résolution de l'image afin de supprimer une partie des parasites. De plus, elle ne fonctionne que sur des smartphones qui disposent d'un mode manuel et peuvent prendre des photos avec une ouverture de plusieurs secondes. Enfin, elle nécessite une grande puissance de calcul, ce qui implique que cette application est trop gourmande pour la plupart des smartphones, selon son créateur.

« Cependant, avec le bon logiciel, un téléphone devrait être en mesure de traiter les images en interne » affirme Florian Kainz. Il ne donne par contre aucune précision concernant la puissance nécessaire et une éventuelle mise en ligne de son application et/ou un développement de ce service de la part de Google.

Le billet étant publié sur l'un des blogs officiels du géant du Net, on peut se douter que la société de Mountain View travaille dessus. Reste à voir quand le grand public pourra en profiter.

• Accéder à l'album des photos en basse luminosité de Florian Kainz