OpenAI vient de présenter son nouveau modèle o3. S'il est difficile de se positionner sur l'importance réelle de ce dernier modèle de l'entreprise de l'année 2024, il masque aussi les difficultés d'OpenAI pour sortir son modèle qui doit marquer son prochain jalon, le fameux GPT-5, nom de code interne : Orion.

La série de modèles « o » a été lancée en septembre avec, à la différence des modèles GPT-x, la capacité d’évaluer et adapter sa réponse si besoin. OpenAI parle d’un modèle de « raisonnement », dont il vient de présenter la seconde génération o3. On peut dire que les modèles GPT-x sont plus « brut de décoffrage » dans ses réponses.

• Avec o3, OpenAI dit se rapprocher d’une IA Générale… mais la route est encore longue

En novembre, via The Information, nous apprenions qu'OpenAI avait du mal à lui faire atteindre l'augmentation de performance que l'entreprise espérait comparer à son précédent GPT-4. Le saut ne serait pas aussi impressionnant qu'entre GPT-3 et GPT-4.

Un retard par rapport à l'annonce faite à Microsoft

Mais le Wall Street Journal a publié un article détaillant un peu plus les difficultés rencontrées par OpenAI pour sa cinquième version principale de GPT.

Selon le journal économique américain, l'entreprise avait promis à Microsoft que son nouveau modèle sortirait aux alentours de l'été 2024. Rappelons que la multinationale a investi des milliards de dollars dans OpenAI et est devenue son partenaire exclusif en janvier 2023.

L'entreprise aurait déjà effectué deux longs et importants rounds d'entraînement pour son hypothétique GPT-5. Et « à chaque fois, de nouveaux problèmes sont apparus » et le modèle n'aurait pas donné les résultats attendus par les chercheurs d'OpenAI.

Les résultats d'Orion seraient meilleurs que ceux des modèles actuels d'OpenAI mais ne justifieraient pas « le coût énorme du fonctionnement du nouveau modèle ». Le journal évalue à un demi milliard de dollars le coût des calculs nécessaires pour un entrainement du modèle.

Un projet datant de l'été 2023

Le journal économique explique que les équipes d'OpenAI planchent sur ce nouveau modèle depuis le milieu de l'année 2023. Et, dès les débuts, l'entreprise aurait rencontré des difficultés. La conception du modèle a pris plus de temps que prévu. Selon les sources du Wall Street Journal, cela indiquait déjà que l'entrainement du modèle prendrait plus de temps. Les chercheurs d'OpenAI auraient notamment évalué à ce moment-là qu'ils manquaient de données diversifiées et de qualité.

L'entreprise aurait d'ailleurs embauché des ingénieurs et mathématiciens pour écrire du code et des résolutions de problèmes mathématiques servant de données d'entrainement pour des tâches plus complexes que celles effectuées par les travailleurs des données habituellement employés par les entreprises d'intelligence artificielle. L'entreprise leur aurait aussi demandé d'expliquer par écrit leurs raisonnements pour nourrir encore plus son modèle.

Mais les atermoiements au sein d'OpenAI, et notamment pendant la semaine de folie qu'elle a passé en novembre 2023, ont aussi mis un coup de frein au projet. L'entreprise a finalement relancé le projet Orion début 2024, selon le Wall Street Journal, en pensant s'appuyer sur de meilleures données. L'entrainement du modèle aurait repris en mai 2024.

Les chercheurs d'OpenAI se sont rendu compte rapidement que les données n'étaient pas encore assez variées mais l'entreprise aurait continué l'entrainement, en ne constatant pas tout de suite de répercussion. Celles-ci n'ont, semble-t-il, été visibles qu'à la fin de l'entrainement. Faute de temps et d'argent, l'entreprise n'aurait pas repris l'entrainement au début et aurait continué l'entrainement tout en lui ajoutant de nouvelles données sans qu'il soit certain que cette stratégie soit concluante.

Sam Altman tente de minimiser

En octobre, Sam Altman avait pris les devants en annonçant lors d'un AMA sur Reddit qu'OpenAI allait sortir « quelques très bonnes versions à venir plus tard cette année » mais « rien que nous allons appeler GPT-5 ».

Le PDG d'OpenAI a d'ailleurs réagi à l'article du Wall Street Journal en mettant en avant la concomitance avec la sortie de o3 : « Je pense que le WSJ est le meilleur journal américain à l'heure actuelle, mais ils ont publié un article intitulé "Le prochain grand bond en avant de l'IA est en retard et extrêmement coûteux" plusieurs heures après que nous avons annoncé o3 ?! » a-t-il commenté sur X.