Au cours des derniers mois, nous vous avons proposé un petit lexique des termes courants utilisés en intelligence artificielle. Le but : vous permettre de bien comprendre de quoi il en retourne et d’appréhender les changements majeurs que l’IA apporte actuellement.

AGI, modèles de fondation, prompt injection, empoisonnement, inférence, hallucination, paramètre, quantification, neurone… Tous ces mots ne devraient plus trop avoir de secret pour vous. Mais un élément mérite qu’on s’attarde davantage sur son fonctionnement : le neurone, qui est à la base des IA modernes.

• Neurone, inférence, entraînement, hallucination… de quoi on parle ?

Dessine-moi un neurone

Une fois n’est pas coutume, on va donner une présentation des plus simplistes du neurone, puis vous expliquer plus finement de quoi il en retourne. Un neurone, c’est simplement un outil mathématique qui réalise une somme pondérée de variables. Voilà, vous pouvez passer à autre chose… ou bien continuer à nous lire et en savoir bien plus.

On monte dans la DeLorean pour un retour dans le temps de 80 ans. On profite du voyage pour évacuer une question : quel rapport entre les neurones de nos cerveaux et ceux des ordinateurs ? Le mode de fonctionnement.

« Un neurone, ça capte de l’information par des dendrites. Ces informations vont arriver un peu de partout et être compilées dans le noyau de la cellule de votre neurone. Le noyau va ressortir un résultat qui est une information électrique dans votre cerveau. Il va être transmis à d’autres neurones par l’intermédiaire des synapses », explique Alexia Audevart, Google Developer Expert in Machine Learning, lors d’une conférence Devoxx en 2021.

Une précision sur la composition du cerveau humain par le CNRS : « il comprend environ 100 milliards de neurones connectés par des millions de kilomètres de « connecteurs » (axones) et de 10 000 à 100 000 milliards de « contacts » (synapses) ». Restons humble, étudions un seul neurone artificiel.

Le neurone artificiel commence sa vie dans les années 40

Sur le principe, le neurone artificiel va lui aussi récupérer des informations, les « tripatouiller » pour en sortir un résultat, puis le passer à d’autres neurones. Les ressemblances entre neurones artificiels et réels s’arrêtent là.

C’est dans les années 40 que commence l’histoire des neurones artificiels : « il y a des mathématiciens qui créaient des neurones artificiels avec un vecteur d’entrée d’informations. Ces informations sont pondérées […], on leur donne plus ou moins d’importance. Ça nous donne une somme, qui passe par une fonction d’activation », ajoute Alexia Audevart. Oui, un neurone, c'est un peu une calculatrice qui fait le même genre d’opérations à longueur de journée.

Le graphique ci-dessous retrace les grandes lignes de la découverte des neurones artificiels et de l’avancée de la recherche sur l’IA et les réseaux de neurones. Il est tiré de « La revanche des neurones. L’invention des machines inductives et la controverse de l’intelligence artificielle » de Dominique Cardon, Jean-Philippe Cointet et Antoine Mazières. Nous n’allons pas détailler l’ensemble du graphique, mais nous attarder sur quelques points. Il est dans tous les cas intéressants pour avoir une vue globale.

Détour par le perceptron et son neurone

Dans une vidéo, sur l’introduction au deep learning, les chercheurs Bertrand Cabot et Jean-Luc Parouty rappellent que c’est en 1957/1958 que Franck Rosenblatt a conçu « une première machine d’intelligence artificielle capable de classer des choses » : le perceptron.

« C’était un classifieur avec un seul neurone, mais qui fonctionnait. 1958 a été une année très importante, c’était la première fois qu’on avait une machine capable de reproduire un raisonnement, modeste certes mais qui fonctionnait », expliquent les scientifiques. Une manière de rappeler que le neurone n’est pas nouveau, loin de là.

Ensuite, on connait l’histoire avec le premier hiver de l’intelligence artificielle dans les années 70. De nouvelles recherches sont arrivées dans la fin des années 80, notamment avec les réseaux de neurones (avec des couches de neurones) et l’augmentation de la puissance de calcul en informatique.

Un neurone, c’est une addition et des multiplications

Pour en revenir à notre neurone, c’est donc en quelque sorte une fonction qui prend des valeurs en entrées et renvoie une sortie. Plusieurs neurones peuvent être « branchés » en parallèle sur les entrées, on parle alors de couche. Les neurones d’une couche ont tous les mêmes entrées, mais chacun avec ses propres coefficients.

Un réseau de neurones, ce sont des couches de neurones qui s’enchainent les unes aux autres. Les sorties d’une couche sont les entrées de la couche suivante (on n’est pas obligé d’avoir le même nombre de neurones dans chaque couche), une opération que l’on peut répéter autant que nécessaire.

Avec un neurone, on peut avoir des centaines/milliers d’entrées, chacune avec donc son propre coefficient. Tous les neurones reçoivent les mêmes données en entrées, mais tous ont des coefficients différents. Imaginez un réseau de 50 neurones avec 150 données en entrée, cela nous donne 7 500 paramètres.

Le travail d’entrainement d’une IA consiste justement à trouver les meilleurs coefficients possibles pour chaque neurone. On peut également ajouter un biais, qui est une valeur ne dépendant d’aucune variable. D’une certaine manière, cela permet de « décaler » la fonction. De 7 500 paramètres dans notre exemple, on arrive donc à 7 550 paramètres à ajuster.

Un peu de math pour la route

Appelons le biais a₀. On a ensuite les données en entrée x₁, x₂,…, x_n, leur coefficient a₁, a₂ jusqu’à … a_n. Un neurone fait simplement un calcul :

f(x1, x2,…, xn)= a0+ a1x1+ a2x2+…+ anxn. 

Pour ceux que les formules rebutent, on additionne simplement les valeurs en entrée pondérées de leur coefficient respectif et on ajoute le biais. De 1958 à nos jours, le principe du neurone reste le même.

La fonction d’activation juste avant la sortie

Une fois le calcul terminé, le résultat passe à la moulinette d’une fonction d’activation. Elle ne dépend plus directement des entrées ou des coefficients, mais d’une nouvelle opération. Il en existe plusieurs, trop pour toutes les détailler.

Commençons par l’une des plus simples : la marche de Heaviside. Si le résultat du calcul du neurone est négatif, alors la fonction d’activation renvoie 0. Dans le cas contraire, elle renvoie 1. La sortie du neurone vaut donc 0 ou 1 en fonction des valeurs en entrées et des poids associés. Simple, mais sans granularité.

Signalons aussi ReLU (Rectified Linear Unit ou Unité Linéaire Rectifiée) qui retourne 0 si le résultat est négatif et le résultat sans modification dans le cas contraire. Pour ceux qui aiment les formules, c’est donc max (0,x) ou x est le résultat de la fonction du neurone.

Nous avons également sigmoïde et tangente hyperbolique que l’on pourrait comparer à la marche de Heaviside, mais avec une marche plus douce sous la forme d’une courbe. Suivant les besoins, on utilise une fonction d’activation ou un autre.

Wikipédia propose une liste de fonctions d’activation, avec les graphiques, les équations et d’autres informations associées. On se rend assez facilement compte de leur fonctionnement :

Dans un prochain article, nous vous expliquerons comment programmer et entrainer une intelligence artificielle capable de reconnaitre des chiffres avec seulement une dizaine de lignes de code.