Connexion

Catégories

Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société

Nous Suivre

Contact rédaction Contact site Forum
Flux RSS GitHub Discord

À propos

Abonnez-vous

Pendant quelques heures, ChatGPT racontait n’importe quoi

Pendant quelques heures, ChatGPT racontait n’importe quoi

Photo de Levart_Photographer sur Unsplash

Le 22 février à 07h41

Un exemple de plus que l’intelligence artificielle doit être surveillée et encadrée. L’IA générative d’OpenAI « a débloqué pendant plusieurs heures mardi, répondant aux questions des utilisateurs avec des phrases sans aucun sens », explique l’AFP.

L’IA « génère des mots totalement inexistants, omet des mots et produit des séquences de petits mots-clés qui me sont inintelligibles, entre autres anomalies […] On pourrait penser que j’ai spécifié de telles instructions, mais ce n’est pas le cas. J’ai l’impression que mon GPT est hanté », explique un utilisateur repris par nos confrères.

Toujours selon l’AFP, OpenAI affirme que ChatGPT fonctionne de nouveau « normalement ». La société avait annoncé « enquêter sur des signalements de réponses inattendues de la part de ChatGPT », puis avoir « identifié le problème » et « être en train de le résoudre ». L’entreprise ne donne par contre aucune précision supplémentaire.

Le 22 février à 07h41

Commentaires (31)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Uniquement pendant quelques heures ? j’ai l’impression que c’est depuis sa mise en place 😅
votre avatar
Réponse de ChatGPT à cette provocation :
Retourne à Pandora, Bilbon Sacquet, où je te pourfendrais de mon poing gum gum.
Signé : Terminator
PS : Miaou
votre avatar
J'allais sortir un truc du genre : les fausses citations et j'en passe, cette "IA" hallucine complet en fait.
votre avatar
" Le problème avec les citations sur Internet, c’est qu’il est très difficile de savoir si elles sont authentiques. "
– Abraham Lincoln
votre avatar
Probablement un petit buffer overflow, rien de méchant... :stress:
votre avatar
Des précisions supplémentaires sont disponibles depuis hier sur le site du statut de l'api OpenAI.

https://status.openai.com/incidents/ssg8fh7sfyz3
votre avatar
Traduction par DeepL :

Le 20 février 2024, une optimisation de l'expérience utilisateur a introduit un bogue dans la manière dont le modèle traite le langage.

Les LLM génèrent des réponses en échantillonnant des mots de manière aléatoire, en partie sur la base de probabilités. Leur "langage" consiste en des nombres qui correspondent à des jetons.

Dans ce cas, le problème se situe à l'étape où le modèle choisit ces nombres. Comme s'il s'agissait d'une erreur de traduction, le modèle a choisi des nombres légèrement erronés, ce qui a produit des séquences de mots qui n'avaient aucun sens. Plus techniquement, les noyaux d'inférence produisaient des résultats incorrects lorsqu'ils étaient utilisés dans certaines configurations de GPU.

Après avoir identifié la cause de cet incident, nous avons déployé un correctif et confirmé que l'incident était résolu.
votre avatar
L'IA aurait-elle "appris" des "textes" d'aya nakamura ?
votre avatar
« Les calculs sont pas bons Kevin ! »
votre avatar
Ce que je trouverais cool, c'est que la presse en général profite de cet épisode pour expliquer que l'IA n'est en aucun cas "intelligente", elle ne "sait" pas ce qu'elle dit. C'est un modèle statistique qui dit (en simplifiant grandement) qu'après tel mot, on a tel mot. C'est performant (souvent), mais ça n'est pas "intelligent" !!!
C'est notamment pour ça qu'on ne peut pas lui demander de "savoir" si 2+2=4. Et que l'on peut lui faire avoir des "hallucinations" assez facilement. Le mot hallucination est d'ailleurs désagréable à mes oreilles : il renforce l'idée que c'est "intelligent" et qu'il est trompé par un événement/une intervention extérieure, alors que c'est juste une réponse "statistiquement valide" (selon le modèle)

(bon, d'accord, j'ai un bon peu simplifié...)
votre avatar
Donc toute personne qui a une fois été complètement bourrée ou droguée à la suite d'une anesthésie générale et qui s'est mise à balbutier des trucs sans aucun sens n'est pas intelligente ?

Toujours pareil avec les sceptiques, quand vous parlez de l'intelligence humaine vous parlez de la découverte de la relativité générale par Einstein, quand vous parlez de l'IA vous la jugez sur sa pire performance.
votre avatar
Utiliser des probabilités pour générer des suites de mots, ce n'est pas de l'intelligence. Et c'est ce que fait une IA générative comme celle dont on parle.

OpenAI rappelle d'ailleurs que c'est ce qui est fait dans leur Postmortem en lien un peu plus haut.
votre avatar
Ha oui bien sûr où avais-je la tête.

Je suppose que les humains ne fonctionnent pas par association d'idée et qu'à chaque fois qu'on nous présente une multiplication on refait la démonstration fondamentale de la multiplication dans notre esprit.

Pour se pignoler sur "la formidable intelligence des plantes" parce qu'elles orientent leurs feuilles vers le soleil y'a du monde, par contre une machine qui peut faire une dissertation meilleure que 50% des lycéens non c'est pas intelligent, tiens on va plutôt la comparer à un philosophe professionnel comme Raphaël Enthoven. Perso j'aurais trouvé ça plus drôle si au dernier moment on avait demandé à Enthoven et à l'IA de la faire en Coréen la dissertation.

Je suis sûr que quelque part dans la jungle il y a un chimpanzé avec un égo un peu plus boursouflé que les autres, qui est convaincu que son espèce est supérieure et que si les humains ont conquis le monde c'est de la triche car ils utilisent des outils.
votre avatar
a démonstration fondamentale de la multiplication
C'est quoi ?
votre avatar
Pour se pignoler sur "la formidable intelligence des plantes" parce qu'elles orientent leurs feuilles vers le soleil y'a du monde
Ha ?

Je pensais que l'orientation des feuilles se faisait via phototropisme: https://fr.wikipedia.org/wiki/Phototropisme

Rien d'intelligent là-dedans, c'est simplement de la physique/biologie ;)
Mais comme pour beaucoup de choses, l'anthropomorphisme nous pousse à imaginer une intelligence là où il n'y en a pas. Il "suffit" généralement de garder l'esprit critique et de faire ses petites recherches pour voir si des scientifiques ont déjà fait des études à ce sujet.

Je vous invite à lire sur les transformers (on parle de réseau de neurones, pas d'Optimus Prime ;) ) et le fonctionnement de GPT pour comprendre un peu plus et éviter de lui accorder trop de capacité.
votre avatar
C'est s'adapter à son environnement avec un but. C'est de l'intelligence. C'est pas de la conscience, c'est assez basique, mais c'est de l'intelligence. Comme un chat, comme ChatGPT.

J'ai pas fait mes "petites recherches" j'ai fait mes grandes recherches et je comprends très bien le fonctionnement des transformers, et des modèles de diffusion. Notre désaccord n'est pas technique, il est philosophique.
votre avatar
Donc un algorithme d'apprentissage par renforcement est intelligent ? Par définition, il a un but, et il adapte sa stratégie pour atteindre ce but.
votre avatar
Je comprend du coup que tu veux jouer sur le sens donné à l'intelligence. Tu réagis quand même à un commentaire qui indique juste que pour l'instant on survend un peu trop chatGPT et beaucoup de gens se pignolent justement sur l'intelligence de chatGPT et l'utilise en ne prenant pas la mesure de ce qu'il est capable de faire. Parce que justement, l'intelligence que tu peux y voir n'est pas intrinsèque à chatGPT, elle est émergente. Tout comme l'adaptation des espèce est émergente du processus de mutation génétique, ce processus n'est en aucun cas intelligent ni même n'a l'adaptation comme but, ce processus existe tout simplement et a permis de soutenir une évolution des espèces. Ca reste un processus émergent. C'est toute la beauté d'arriver à des systèmes complexes basés sur des briques toute simples.

On s'est longtemps fourvoyer à tenter de construire des chatbots en essayant de leur faire intégrer une logique et ça n'a jamais rien donner de concluant. Avec les LLM, étonnament, une capacité de raisonnement ou d'intelligence en émerge, mais il est important de garder la nuance, le système n'en devient pas intelligent ni doué de raisonnement pour autant.

En disant que chatGPT est intelligent sans cette nuance, tu pousses juste des personnes à faire confiance aveuglément à ce que sort chatGPT.

En gros, chatGPT n'est pas intelligent.
Ton chat oui, mais le chat de chatGPT ne vient pas de là ;)
votre avatar
Une IA ne sait peut-être pas ce qu'elle dit, mais si elle est préparée pour, elle peut résoudre des problèmes mathématiques aussi bien que les meilleurs lycéens : AlphaGeometry, un champion des mathématiques, sur Numérama

Pour le moment c'est niveau Lycée, mais vu la vitesse d'évolution des IA dans quelques années il y aura probablement des théories scientifiques et/ou des démonstrations mathématiques découverte par IA.
votre avatar
Attention aux nuances. Les LLM ne résolvent pas des problèmes mathématiques. Même pire, ils n'essayent même pas de répondre à vos questions. Ils génèrent du texte qui collent au modèle qu'ils ont construit suite à leur entrainement. La suite logique d'un texte représentant une question est de fournir une réponse, qu'elle soit correcte ou non. Les LLM n'ont pas de notion de logique, ni de raisonnement.

D'ailleurs, il sera tout aussi simple pour chatGPT de répondre à votre demande quelque soit sa complexité. Le modèle sort de manière déterministe un set de tokens probables pour continuer la conversation (l'aléatoire provient d'un choix arbitraire de ne pas forcément sélectionner le token le plus probable selon le modèle) et en un temps constant que le texte précédant représente des concepts simples ou ultra complexes.

L'une des voies observées sur chatGPT est de laisser la possibilité au LLM de se servir de plugins pour demander des informations à des systèmes qui savent résoudre des problèmes mathématiques par exemple. Cela s'exprime généralement par le fait que l'IA écrive du code python qui est ensuite exécuté pour produire un résultat plus stable que de laisser le modèle générer une réponse plausible et du coup complètement fausse quand on s'attend à un résultat mathématique précis. C'est devenu vachement plus utilisable depuis mais ça n'empêche pas de garder un oeil critique sur le texte produit et de connaitre les limites du systèmes.

Je rejoins le commentaire sur le fait que la presse n'aide pas leurs lecteurs à relativiser sur le message commercial d'openAI, Google, Microsoft et autres. On persiste à présenter les "hallucinations" comme des bugs qui doivent être résolus sans même indiquer que ça fait partie intégrante des systèmes à LLM.

Et on finit par avoir des gens qui utilisent ces solutions en fermant les yeux, comme récemment ces avocats aux US qui reprennent tel quel ce que leur dit chatGPT pour préparer leur plaidoirie et citer des dossiers qui n'existent même pas. (https://www.reuters.com/legal/transactional/another-ny-lawyer-faces-discipline-after-ai-chatbot-invented-case-citation-2024-01-30/)
votre avatar
Le mot hallucination est d'ailleurs désagréable à mes oreilles : il renforce l'idée que c'est "intelligent" et qu'il est trompé par un événement/une intervention extérieure, alors que c'est juste une réponse "statistiquement valide" (selon le modèle)
Ce n'est pas un événement ou une intervention, le modèle n'est pas "trompé" quand il hallucine. C'est d'ailleurs même la définition d'hallucination : percevoir quelque chose qui n'existe pas en l'absence de stimuli externe. Dans le cas du LLM, il tombe simplement dans un embranchement statistique produisant un résultat incohérent par manque de données d'entraînement.

On utilise souvent le terme d'une façon péjorative, mais en réalité c'est bel et bien une feature de l'IA générative. ce n'est pas un bug pour reprendre la vieille expression, c'est sa "créativité". C'est notamment la température qui permet de rendre le modèle plus ou moins créatif. Une température à 0 le rendra déterministe avec de très fortes chances de toujours produire le même résultat. Zéro n'est pas recommandé, mais une température basse l'est pour la traduction ou la génération de code par exemple. Par contre, une température moyenne est plus adaptée au cas d'usage d'un chat bot. Trop haute, le modèle peut devenir un peu trop "créatif" par contre et risque de divaguer.

Dans tous les cas, l'hallucination est inévitable pour un LLM. Ce ne sont pas des bases de données ou des indexes, mais des modèles statistiques dont le traitement contient une part d'aléatoire (paramétrable, mais présente). Donc il y aura toujours des résultats incohérents ou incorrects. Il faut juste apprendre à faire avec. C'est notamment pour ça qu'en matière de génération d'image, on fait des batchs de plusieurs résultats pour un prompt, y compris avec la même seed.
votre avatar
Un exemple de plus que l’intelligence artificielle doit être surveillée et encadrée.
Je ne vois pas bien le rapport...
votre avatar
Pour Gemini (IAG de Google), la diversité existait aussi chez les soldats nazis : lien !

Edit : les "excuses" de Google
votre avatar
Plus globalement, Gemini a beaucoup de mal à reconnaître l'existence des personnes de couleur blanche, c'est pourquoi cette image existe. Si tu précises explicitement que tu veux ces personnes, il peut sortir un pamphlet que l'on peut qualifier de « woke » parlant d'inclusion et de représentation pour refuser au final, mais par contre aucun problème avec d'autres.
votre avatar
https://fr.wikipedia.org/wiki/Indische_Freiwilligen-Legion_der_Waffen-SS

https://fr.wikipedia.org/wiki/Relations_entre_l%27Allemagne_et_le_Japon

https://fr.wikipedia.org/wiki/Politique_%C3%A9trang%C3%A8re_du_Troisi%C3%A8me_Reich_avec_le_Moyen-Orient


Allez, avec un peu plus d’inclusivité ils vont illustrer des esclavagistes non-blancs, ce qu'ils démentiront car ça ne correspond a aucune réalité historique , oh wait...
votre avatar
De là à inventer des nazis noirs... (en général, les soldats noirs sous uniforme français n'étaient pas faits prisonniers, ils étaient exécutés sur le champ).
Il y a aussi les Pilgrim Fathers noirs ou indiens : lien !

Edit : ortho
votre avatar
Comme toute IA générative, sans prompt assez précis, elle appliquera les critères par défaut qu'on lui a indiqué (ici probablement inclure de la diversité : homme femme, différentes ethnies) et fera ce genre de choses que l'on considère une erreur. Elle n'a pas le contexte historique pour savoir qu'il ne devait pas y avoir de soldats allemands noirs ou asiatiques. en 1943.
votre avatar
Au vu de l'explication sur la page status, ça sent le paramétrage du LLM qui semble avoir été modifié et mis des valeurs entraînant un comportement beaucoup plus aléatoire.

Les params d'un LLM permettent de le faire agir d'une façon stricte ou de plus en plus créative. Mal dosé, le comportement peut devenir erratique et complètement aléatoire.

Ca n'a rien à voir avec une question de surveillance ou d'encadrement, à moins qu'on ne veuille légiférer sur les paramètres de température, top_k, top,p, la pénalité de répétition, etc, qu'on donne au modèle pour le requêter... C'est juste une MEP foireuse comme on en a tous les jours sur le Web.
votre avatar
Je n'ai pas compris ça comme ça. J'ai l'impression que c'est au contraire un problème plus ou moins matériel (ils parlent de config GPU). De ce que j'ai lu, il "prédit" les mauvais tokens. Ça pourrait venir du coup d'un problème de cast ou d'imprécision entre 2 type de données (il y a le Float32, le TF32, le Float16, le BFloat16 et même le float8).
votre avatar
En effet c'est aussi possible, je sais que ma GTX1080 n'est pas forcément recommandée pour Stable Diffusion (même si ça marche bien) car il lui manque quelques instructions utiles pour certains calculs. Mais c'est pas impossible que ce soit aussi causé par des paramétrages software du LLM.
votre avatar
Un exemple de plus que l’intelligence artificielle doit être surveillée et encadrée.
J'ai eu peur, il a failli se passer plus de 24h sur Next sans que le fantôme de Thierry Breton qui hante la rédaction ne vienne nous tanner.

Sinon, quel rapport ?

Pendant quelques heures, ChatGPT racontait n’importe quoi

Fermer