Pourtant, note le média économique, qu’on parle d’ « hallucinations », de « dérives » ou de « dégradations », les modèles d’IA n’ont pas terminé de dévoiler les dysfonctionnements qui poussent à la prudence avant de les déployer à large échelle.

L’hallucination des LLM n’est pas un dysfonctionnement.

L’apprentissage machine et les modèles de régression, après tout, existaient avant que ChatGPT ne devienne public.

Bien sûr, et l’IA générative n’est rien de plus que l’évolution d’une discipline aussi vieille que l’informatique elle-même.

Après, si évidemment il y a une forte hype des investisseurs sur le sujet, je trouve qu’il y a quand même une grosse différence entre les cryptomonnaies et l’IA générative. Les cryptos n’ont jamais été concrètes à mes yeux, peut-être aussi parce qu’elles ne m’ont jamais vraiment intéressées non plus. Je leur ai jamais vu aucune utilité ni incidence dans la société. A part pour la spéculation autour d’elles, j’en entendais jamais réellement parler. Pareil pour les NFT ou encore le metavers où j’ai pu assister à diverses présentations sur le sujet de la part de boîtes qui avaient des trucs à vendre. Dans le concret, pas grand chose à apporter.

L’IA générative, elle est concrète, elle est utilisée, elle produit (des offres de low code / no code sont basées dessus), et elle a un impact sur la société (d’où les questions de l’emploi / remplacement de personnel, propriété intellectuelle, etc). Il y a des cas d’usage où elle est appliquée, elle est utilisée, et elle apporte un gain significatif en matière de qualité des interactions humain/machine (chatbots qui comprennent de quoi on parle et dialoguent de manière plus naturelle, les assistants vocaux qui vont se baser dessus, le niveau 1 de prise d’appel client qui est en train d’arriver, etc).

Mais dans tous les cas, il y a un fort engouement, des boîtes qui se créent, vont se créer, et se vautrer comme à chaque ruée vers l’or.

C’est effectivement un des défauts de cet outil que j’avais constaté assez rapidement quand j’ai commencé à l’utiliser. Il ne sait pas dire “je ne sais pas” car c’est pas son but : il est là pour poursuivre l’écriture d’un texte et c’est ce dans quoi il excelle. Il n’est pas fait pour répondre à des questions, c’est un travers de la comm’ d’OpenAI qui m’a fortement agacé tellement elle a propagée de fausses idées sur l’utilisation de GPT.

Si on veut utiliser GPT en mode assistant de recherche d’information, il faut lorgner du côté des implémentations où le modèle est alimenté par une recherche d’information. Typiquement quand on regarde sur Bing (et comme feu le mode Web de ChatGPT), il va lancer une recherche avec des mots clés reprenant les éléments les plus importants du contexte (car c’est comme ça que GPT raisonne pour faire simple), puis il synthétise les résultats obtenus.

Et sur ce cas d’usage, c’est tout simplement génial pour dégrossir un sujet avant d’aller en profondeur. Je l’ai fait plusieurs fois pour avoir des comparaisons rapides d’infos publiques sur des solutions techniques, ça fait gagner un temps fou. Le problème, c’est que ces implémentations sont bridées soit à cause de restrictions type légal (Bing m’a déjà craché plusieurs fois “je peux pas copyright toussa”) ou encore contexte trop lourd qui fait que la requête est trop coûteuse et échoue ou est incomplète.

Je le dis depuis un bail sur NXI : GPT n’est pas Oracle-qui-sait-tout-et-voit-tout. Il ne sait rien, il n’a pas de mémoire, il n’apprend pas non plus. J’ai plusieurs fois parlé de “base de connaissances”, mais c’est plus une image pour illustrer le fait que ses connaissances sont issues de connexions entre des mots.

Quand je dis qu’il comprend le contexte de la requête, c’est parce que son modèle de raisonnement agit par déconstruction du prompt et analyse de celui-ci pour produire la suite. Chaque mot est analysé unitairement par rapport à celui qui le précède avec une attention déterminée par un jeu de poids et de probabilités, vérifiant les concordances de mots en fonction des clés qui les lient, les valeurs obtenues sont mixées ensemble et derrière il produit la prédiction finale du prochain mot. GPT utilise 12 ensembles par mot pour évaluer le contexte (c’est l’étape du decoder), concaténer les possibilités et produire le résultat final.

Pour ton propre exemple, cela ne m’étonne pas : dès qu’on demande des choses très précises, le modèle affiche ses limites. Ce qui est normal, c’est pas un moteur de recherche. Il a fait ce qu’il savait faire : poursuivre le texte. Mais comme il a manqué de connexions, il s’est retrouvé à côté de la plaque.

Pour moi, une bonne implémentation de GPT se fait en utilisant un modèle bien entraîné (car mieux il est entraîné, mieux il comprendra les prompts et sera cohérent) et surtout, en lui donnant des inputs pour qu’il puisse lire le contenu, extraire les infos demandées et les restituer.

C’est le genre d’implem pour entreprise qui se propose de plus en plus où le client a une instance du modèle à qui il ajoute un entraînement complémentaire pour ses données (de préférence des données qui ne bougent pas, si ce sont des données vivantes il vaut mieux que le modèle aille les chercher auprès du référentiel adéquat) et qui permet ainsi de faire interface avec des clients ou du personnel. Utiliser le modèle seul n’a aucun sens car il atteindra vite ses limites.

Ravi qu’on se soit compris