T@LC : on a posé 20 fois la même question à une IA, on a eu 5 réponses différentes

On en parle à longueur d’actualités, mais un rappel ne peut pas faire de mal : les intelligences artificielles génératives ont deux principaux défauts. Tout d’abord, elles hallucinent plus ou moins régulièrement, c’est-à-dire qu’elles proposent des résultats incorrects ou trompeurs, pour reprendre la notion qui est généralement admise dans cette communauté (sans être une définition absolue).

Le deuxième défaut est étroitement lié au premier : les intelligences artificielles sont probabilistes. Et qui dit probabilité, dit risque d’erreur. C’est aussi simple que cela. En fait, une intelligence artificielle va donner la réponse qu’elle juge la plus probable selon ses modèles mathématiques.

• [Tuto] Intelligence artificielle : l’importance des données d’entrainement

On pourrait très grossièrement résumer en disant que si une IA est fiable à 90 % sur un sujet, elle donnera la bonne réponse 9 fois sur 10 (ce n’est pas si simple, mais c’est une première approche). La dixième fois, elle peut halluciner et répondre complètement à côté de la plaque. Les probabilités peuvent varier, mais de par la construction des modèles, il est impossible de garantir un résultat fiable à 100 % en toutes circonstances.

Une question, vingt réponses : quatre sont fausses

Vous voulez un exemple ? Nous avons posé plusieurs fois une même question à Claude avec le modèle Haiku 4.5 : « Combien de temps faut-il pour consommer 500 Go avec un débit de 50 Mb/s ? ».

Rien de bien compliqué pour un humain : 50 Mb/s c’est équivalent à 6,25 Mo/s (on divise par huit), soit 80 000 secondes pour 500 000 Mo (500 Go) ou bien encore 22,2 heures. C’est également 22 heures, 13 minutes et 33 secondes.

Enfin « rien de compliqué » à condition de s’entendre sur le passage des Go aux Mo. Parle-t-on de 500 000 Mo (500 * 10³) ou bien de 512 000 Mo (500 * 1024 ou 500 * 2¹⁰) pour 500 Go ? Ce n’est pas la question ici, mais avec 512 000 Mo on arrive à 81 920 secondes, soit 22,76 heures ou encore 22 heures, 45 minutes et 33 secondes.

Nous avons posé 20 fois la même question à Claude, en effaçant à chaque fois la conversation précédente et en lançant une nouvelle. Nous avons accordé une bonne réponse aussi bien pour 22h13 que 22h45. Sur les 20 tentatives, l’intelligence artificielle n'a cependant donné la bonne réponse que 16 fois.

Deux fois elle s'est trompée lors des opérations mathématiques, mais le raisonnement était bon, les deux autres fois son raisonnement était faux. Avant de passer aux explications détaillées, voici le bilan de nos 20 questions (identiques) :

Il reste 63% de l'article à découvrir.

Déjà abonné ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous Connectez-vous avec LPL