Suivant les leaders actuels de l'IA générative, Adobe arrive avec son outil de génération de vidéos. Si la durée des vidéos réalisée par Firefly est encore plus réduite que celle de ses concurrents, Adobe a l'avantage légal important d'avoir pu entrainer son modèle sur son immense base de données Adobe Stock. L'entreprise profite aussi de son expérience dans l'édition d'images et de vidéos.

Après Sora d'OpenAI et Movie Gen de Meta, Adobe fait aussi des vidéos en utilisant l'IA générative et communique autour de son modèle Firefly Video. Mais, contrairement à ses concurrents, l'entreprise de logiciels d'édition de textes, d'images, de sons et de vidéos a l'air d'avoir plus avancé sur l'intégration de son modèle dans des outils concrets pour créer des vidéos.

L'entreprise avait déjà communiqué en septembre sur son nouvel outil. Mais elle l'ouvre maintenant en beta publique avec liste d'attente ouverte aux utilisateurs américains.

Contrairement à Meta, Adobe ne communique aucunement sur le travail de ses chercheurs. Et nous n'avons pas trouvé trace de ces travaux sur la plateforme de preprints arXiv (recherche un peu entamée par les difficultés que rencontre la plateforme, engendrant de nombreuses erreurs 504).

Les exemples de générations de vidéos présentés par Adobe semblent d'un même incroyable réalisme que ceux de la concurrence :

Comme Meta, et contrairement à OpenAI, l'éditeur de Firefly ne montre que des vidéos sans aucun effet d'hallucination, ce qui ne veut pas dire que son modèle n'en produit pas. Le temps des vidéos générées par l'outil d'Adobe est par contre plus limité que celui de ses concurrents. À The Verge, le responsable IA générative de l'entreprise, Alexandru Costin, expliquait le mois dernier que leurs vidéos générées ne pouvaient excéder les 5 secondes (durée des exemples fournis par l'entreprise).

Utilisable dans un cadre commercial

Si Adobe ne fournit pas beaucoup d'informations sur la confection de son modèle, elle met fortement en avant la promesse que Firefly serait « conçu pour être utilisé dans un cadre commercial ». Et ce pour une raison : tous les modèles de l'entreprise sont « entrainés sur des contenus sous licence ».

En effet, l'entreprise a acquis en 2014 le site d'échange de photo Fotolia et l'a transformé, cinq ans après, en Adobe Stock. Celui-ci contient une immense collection de vidéos et d'images. Si certains auteurs ont élevé la voix en 2023 face à cette utilisation de leurs contenus, les conditions de service permettent à l'éditeur de profiter pleinement de son catalogue. L'entreprise explique aussi s'appuyer sur des contenus du domaine public.

Par contre, elle assure que ses modèles ne sont jamais entrainés sur des contenus de ses utilisateurs. Plus tôt dans l'année, un doute s'était installé sur cette affirmation, notamment à cause d'une formulation floue dans ses conditions d'utilisation. L'entreprise avait réaffirmé son engagement. Adobe a maintenant une page explicite dédiée à son engagement sur le respect du Copyright et du droit d'auteur.

Il est possible, par contre, que ça soit cette contrainte qui restreigne la durée des vidéos générées par le système d'Adobe.

Une application web, mais surtout une intégration à Premiere Pro

L'entreprise propose une application web Adobe Firefly qui permet d'utiliser son modèle de génération de vidéo via un prompt textuel. L'utilisateur peut, en plus, ajouter une image pour créer un nouveau plan ou un nouveau « B-roll » (séquences complémentaires).

Mais, avec Firefly Video, ce qu'amène Adobe à ses utilisateurs, comme pour l'édition d'image, c'est l'intégration de son IA dans ses outils d'édition. L'entreprise annonce la sortie d'une extension générative dans Premiere Pro (en version bêta).

L'entreprise donne quelques exemples de la façon dont un monteur peut utiliser cette extension dans son travail, notamment pour allonger un peu une séquence, ajouter des contenus supplémentaires ou corriger les lignes de regard ou des actions non attendues.

Enfin, comme tous ses concurrents, Adobe se garde bien de communiquer sur l'énergie consommée par son modèle pour générer ces vidéos. Pourtant, la recherche montre que ces outils ont un impact environnemental conséquent, même s'il est toujours difficile de le quantifier à cause, justement, de ce manque de transparence.