FFmpeg 8.0 est disponible, avec reconnaissance vocale via Whisper (OpenAI)

FFmpeg vient de sortir en version 8.0 alias Huffman. Pour les responsables du projet, ce n’est rien de moins que « l’une de leurs plus grandes sorties à ce jour ». Elle arrive un an et demi après la version 7.0 alias Dijkstra, et presque un an après la 7.1 alias… Péter.

Si vous n’utilisez pas directement FFmpeg, il y a de très forte chance que ce soit le cas d’au moins un de vos logiciels. Wikipédia dresse une liste de ceux qui l’utilisent : Blender, HandBrake, Kodi, MPC-HC, Plex, VLC media player, YouTube… et même le rover Perseverance de la NASA, qui est sur Mars.

Whisper au rapport pour des sous-titres automatiques

Les notes de versions dressent la liste d’une trentaine de changements, avec l’intégration de Whisper en tête de liste. Il s’agit d’un système open source (modèle et code d’inférence) de reconnaissance automatique de la parole, développé par OpenAI. Plus précisément, dans FFmpeg il s’agit de Whisper.cpp, une implémentation en C++.

Guillaume Seznec (ingénieur multimédia chez INA) précise sur son blog que si le support de Whisper est natif dans FFmpeg, « il faut toutefois compiler les programmes pour activer cette fonctionnalité », en détaillant au passage les commandes. Il en profite pour réaliser quelques tests et, sans surprise, « le choix du modèle influe directement sur la qualité de la transcription (orthographe, vocabulaire) et sur la vitesse de calcul ».

FFv1 et ProRes RAW (Apple) dans Vulkan

L’autre grosse nouveauté de FFmpeg 8.0 est la prise en charge de Vulkan pour deux codecs : FFv1 (compression et décompression) et ProRes RAW (décompression seulement). FFv1 est un « codec vidéo libre et sans perte standardisé par l'Internet Engineering Task Force (IETF). Il est utilisé pour de l'archivage, par exemple, par la Bibliothèque nationale de France », rappelle Vivien Guéant de LaFibre.info. Le second, ProRes RAW, est développé par Apple.

Les développeurs précisent que les travaux pour la prise en charge de ProRes en compression et de VC-2 (compression et décompression) sont terminés et en cours de vérification. Les changements seront prochainement intégrés dans FFmpeg lors de la mise en ligne d’une version mineure.

FFmpeg propose aussi une décompression matérielle pour Vulkan VP9, VAAPI VVC et OpenHarmony H264/5, ainsi qu’une compression matérielle pour Vulkan AV1 et OpenHarmony H264/5. Signalons aussi des améliorations pour VVC (Versatile Video Coding) et la fin du support de yasm au profit de nasm.

Notez enfin que FFmpeg « a récemment entamé la modernisation de son infrastructure », avec une mise à jour des serveurs. Pour télécharger FFmpeg 8.0 c’est par ici.