Neurone, inférence, entraînement, hallucination… de quoi on parle ?

Les expressions se multiplient, quand on parle d’intelligence artificielle. Mais qu’est-ce qu’un neurone artificiel ? Et quelle différence entre une hallucination humaine et celle d’une machine ?

Machine learning, apprentissage non-supervisé, hallucinations... Au gré de nos articles sur l’intelligence artificielle, nous utilisons à loisir tout un vocabulaire qui, s’il est souvent tiré d’activités humaines, qualifie bien des éléments spécifiques au champ informatique.

Après avoir décortiqué une partie des expressions génériques qui qualifient certains champs et sous-champs du domaine, intéressons-nous donc au fonctionnement plus précis des systèmes d’IA.

Nos autres lexiques de l’IA : 


• AGI, GPAI, modèles de fondation… de quoi on parle ?
• IA : Prompt injection, empoisonnement… de quoi on parle ?

Machine learning, deep learning

Entraînés sur de vastes sommes de données, les modèles d’apprentissage machine (machine learning) y détectent des schémas et des tendances qui leur permettent de réaliser des prédictions ou des recommandations de plus en plus précises, au fil des essais/erreurs et/ou des optimisations réalisées par leurs constructeurs.

Sous-champ de ce domaine, le deep learning, ou apprentissage profond, concerne des systèmes algorithmiques construits sur une architecture en réseau de neurones artificiels à multiples couches – plus il y a de couches de neurones artificiels, plus le modèle est profond.

Si l’apprentissage machine est le domaine qui fait le plus parler depuis bientôt une quinzaine d’années, il est loin d’être le seul axe par lequel créer des modèles d’intelligence artificielle. Les systèmes experts, qui fonctionnent avec des règles préétablies, sont une autre manière d’en construire. Ils fonctionnent notamment à l'aide de moteurs d’inférence.

Neurone artificiel

Dans le champ informatique, le fonctionnement des réseaux de neurones (neural networks) est inspiré de la réalité biologique. Le nœud d’un tel réseau peut donc recevoir plusieurs valeurs en entrée pour n’en générer qu’une en sortie. Comme l’explique la CNIL, le neurone calcule la valeur qu’il produira en sortie en appliquant une fonction d’activation à la somme pondérée des valeurs reçues en entrée.

Un neurone peut par exemple simuler une porte logique « ou » ou une porte « et », comme expliqué dans cette vidéo. Un seul neurone ne peut pas faire un « ou exclusif », mais trois neurones le peuvent. Et on retombe bien vite sur l’informatique classique, qui fonctionne à base de portes logiques.

Des neurones sont ensuite interconnectés afin de constituer une architecture de calcul. « Il existe de nombreux types de réseaux de neurones artificiels tels que les réseaux de neurones récurrents, les auto-encodeurs, les réseaux transformeurs ou encore les réseaux antagonistes génératifs (generative adversarial networks) », ajoute la CNIL.

Pour mieux comprendre le fonctionnement d’un neurone et l’avantage de les interconnecter pour en faire un réseau, on ne peut que vous conseiller de regarder cette série de vidéos d’Arnaud Bodin de l’université de Lille.

Paramètres

Un paramètre est une des propriétés apprises à partir des données d’entraînement. Les paramètres d’un modèle sont les multiples variables à partir desquelles la machine est entraînée et optimisée, et qui lui permettent, à terme, de produire des résultats corrects. Dans les systèmes en réseaux de neurones, ces paramètres incluent le poids (ou nombre d’entrées) de chaque neurone.

Les gros réseaux de neurones actuels disposent de plusieurs dizaines de milliards de paramètres. GPT-2 en affiche 1,5 milliard, GPT-3 175 milliards. Pour GPT-4 il serait question de 1 000 milliards de paramètres. En gros, plus le chiffre est élevé, plus l’intelligence artificielle sera précise, mais au prix d'un coût d'entraînement plus important en énergie.

• • Les modèles d’IA généralistes sont beaucoup plus énergivores que les spécialisés

Quantification

Les grands modèles de langage (LLM) contenant un nombre de paramètres toujours plus volumineux, leur consommation de mémoire GPU ne fait, elle aussi, que s’accroître. Pour contraindre autant que possible l’empreinte des systèmes, des techniques de quantification (quantization) sont utilisées pour réduire la précision numérique des nombres flottants qui servent de paramètres aux modèles.

Comme l’explique Hugging Face, cela consiste à ne plus utiliser des nombres flottants de haute précision (sur 32, voire 64 bits), mais plutôt de les convertir sur un plus faible nombre de bits, vers 16 bits (float16 ou bfloat16), voire en nombres entiers de 8 bits (int8). Cela rendra le modèle un peu moins précis, mais aussi plus rapide.

La quantification peut avoir lieu en amont de l’entraînement (on parle de quantization aware training, QAT), ou en aval (post-training quantization, PTQ).

Inférence, entraînement, apprentissage

Une inférence est une opération logique, qui consiste à passer de prémisses (des faits, des énoncés déclarés vrais) à des conclusions. Dans certains cas, on peut parler de déduction. Si le terme est d’abord utilisé dans le champ de la philosophie, on le retrouve en informatique… dans les systèmes qui simulent le raisonnement déductif. C’est notamment le cas des moteurs d’inférences qui permettent aux systèmes experts de fonctionner.

Chez Next, on entend parfois des data scientists utiliser indifféremment entraînement et inférence. Depuis l’essor des techniques d’apprentissage machine, il semblerait, en effet, que le terme d’inférence en soit venu à décrire le processus par lequel ce type de système produit ses prédictions ou ses recommandations de décisions.

Il existe néanmoins une différence, comme l’explique la société XII (service et conseil en IA) : « L'inférence en intelligence artificielle fait référence au processus par lequel un modèle formé ou entraîné est utilisé pour effectuer des prédictions sur de nouvelles données, après sa phase d'apprentissage. Lors de l'apprentissage, le modèle est exposé à un vaste ensemble de données d'entraînement annotées, où il cherche à identifier des schémas, des caractéristiques et des relations qui lui permettront de généraliser les connaissances acquises sur de nouvelles données. Une fois que le modèle a été suffisamment entraîné, il peut être déployé en production pour effectuer des inférences sur des données non annotées sans avoir besoin d'accéder aux données d'apprentissage ».

Elle reconnait néanmoins que la distinction entre les deux peut parfois sembler floue, d’autant que pendant l'entraînement, le modèle effectue des inférences pour ajuster ses paramètres. « Cependant, dans le contexte de l'IA, on utilise souvent le terme “inférence” pour décrire l'utilisation du modèle déployé en production, tandis que l’apprentissage se réfère à la phase initiale où le modèle est entraîné sur des données annotées ». On retrouve la même distinction chez Cloudflare et d’autres.

Dans la série des synonymes, on parle aussi d’apprentissage pour qualifier le processus par lequel le système d’intelligence artificielle construit un modèle à partir de ses données d’entraînement. Il existe en réalité une variété de techniques d’apprentissage, qui peuvent être mêlées : les forêts aléatoires (random forests) consistent à créer de multiples arbres de décisions, eux-mêmes entraînés sur des sous-ensembles de données ; l’apprentissage par renforcement consiste à faire progresser le système par essai/erreur, on peut y adjoindre des retours automatiques, ou des retours humains, comme c’était le cas pour GPT-4, etc.

• • Que dit la documentation de GPT-4 ?

Apprentissage supervisé, apprentissage non supervisé

Quelles que soient les techniques d’entraînement adoptées, celles-ci sont nécessaires pour que le système d’IA construise le modèle qui lui permettra de répondre au cas d’usage qu’on lui a assigné. Cette phase peut être supervisée ou non. Dans le premier cas, on donne à la machine des données préalablement étiquetées. Le système apprend donc à faire des prédictions relatives à la relation qui lie les étiquettes aux données qu’elles qualifient.

Quand le système apprend à partir d’une somme de données non étiquetées, on parle d’apprentissage non supervisé. Dans ces cas-là, la machine est généralement entraînée à repérer des schémas ou des tendances dans la masse d’informations reçues.

• • Des scientifiques ouvrent la voie à un cerveau artificiel et un apprentissage non supervisé

Annotation, labellisation

L’annotation, l’étiquetage ou la labellisation sont autant de qualificatifs de l’une des tâches humaines essentielles pour permettre à bon nombre de systèmes d’intelligence artificielle de fonctionner : ce sont les activités qui consistent à étiqueter les données, pour permettre aux modèles d’être entraînés par apprentissage supervisé.

On croise aussi le terme de groundtruth (vérité terrain) pour qualifier les données issues du monde hors ligne, décrivant le réel, qui servent à entraîner les machines. Le terme groundtruth peut être employé pour différencier ces éléments des données produites par inférences.

• • IA : la majorité du travail du clic « à la française » externalisée à Madagascar

• • Des mineurs employés à l’entraînement des modèles d’IA

Hallucination ou confabulation ?

Hallucination et confabulation sont deux autres termes très utilisés dans le champ technologique, alors qu’ils définissent à l'origine des troubles psychologiques. Une hallucination est un phénomène psychique qui pousse à percevoir des éléments inexistants ou à ressentir des sensations sans que quoique ce soit d’extérieur ne les ait fait naître.

Quant à la confabulation, il s’agit de la création de souvenirs qui n’ont jamais existés, ce qui peut aller de petites erreurs anodines jusqu’aux perturbations avancées des récits qu’on peut trouver chez des personnes atteintes de démence.

Dans le champ de l’intelligence artificielle, les hallucinations désignent des erreurs dans lesquelles le système produit du texte ou des images incohérents, les confabulations désignent la production de résultats qui ne correspond à aucun motif (pattern) appris précédemment… et les deux termes peuvent être utilisés de manière plus ou moins interchangeable, en attendant qu’une tendance nette se dégage.

Citations de sources inexistantes, attributions de textes imaginaires à des personnes réelles et autres affirmations fausses en sont des exemples pour les systèmes générant du texte, de même que la reconnaissance d’objets ou de motifs inexistants peuvent l’être pour les systèmes de reconnaissance d’images.

Pour une linguiste comme Emily Bender, utiliser des termes aussi évocateurs de la pensée (et des erreurs) humaine participe à faire passer les technologies d’intelligence artificielle pour ce qu’elles ne sont pas, c’est-à-dire des machines pensantes.

Avec Timnit Gebru, Margaret Mitchell et les autres signataires de l’article sur les « perroquets stochastiques », publié en 2020, elle rappelait par exemple que les grands modèles de langages ne sont que des systèmes probabilistes. C’est-à-dire qu’ils produisent des textes certes crédibles aux yeux des humains, mais uniquement produits par calculs statistiques. Les machines sont incapables d’y mettre le moindre sens, ce qui participe à expliquer qu’elles produisent des erreurs de sens ou des résultats faux.

• • Dangers des grands modèles de langage : des chercheuses avaient prévenu