Connexion Premium

« Les IA n’ont ni droits, ni sentiments, ni conscience », plaide le patron de Microsoft AI

L'IAHOOQ

« Les IA n’ont ni droits, ni sentiments, ni conscience », plaide le patron de Microsoft AI

Illustration : Flock

Le choix fait par Anthropic d’entraîner son robot conversationnel Claude de façon anthropomorphique en s’attachant au « bien-être » du modèle de langage, en lui imputant la possibilité d’avoir des « émotions », lui prêtant une « conscience » éthique et morale, représente pour le patron de l’IA chez Microsoft « les premiers signes sérieux d’un risque potentiellement existentiel lié à l’IA ».

Co-fondateur de DeepMind en 2010, Mustafa Suleyman dirige l’unité AI de Microsoft depuis 2024. Contrairement à Sam Altman et Elon Musk, il n’a pas partagé les craintes exprimées par Dario Amodei, qui appelait le 12 septembre dernier à ralentir le rythme de développement des IA.

Trois jours plus tôt, Evan Hubinger, responsable de l’alignement chez Anthropic, avait tweeté : « Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! Je pense personnellement que c’est > 10 % dans la prochaine décennie ».

« Ça n’est pas si différent de ce qui se passe dans, par exemple, Terminator ou d’autres films de science-fiction (…). [L’intelligence artificielle, IA] sera assez intelligente pour nous tuer », se borna à expliquer le chercheur en intelligence artificielle Jacob Coxon pour détailler les raisons pour lesquelles il avait choisi de démissionner d’Anthropic, sans plus de précisions.

Suleyman a par contre relayé le tweet de Satya Nadella, PDG de Microsoft qui, en réponse à leurs tweets eschatologiques, rétorqua, le 13 septembre, que « toute démarche visant à développer une superintelligence doit reposer sur le principe fondamental selon lequel, si l’IA que nous créons ne sert pas l’humanité et n’est pas sous contrôle humain, elle ne vaut pas la peine d’être poursuivie ».

« La technologie a pour but de servir l’humanité et de favoriser son épanouissement », souligne le tweet de Suleyman : « Toute technologie qui n’atteint pas cet objectif est un échec et doit être rejetée. Nous n’en sommes pas encore là. Mais il est temps de commencer à se préparer à cette éventualité. »

Pour la « superintelligence humaniste » de Microsoft, « les personnes comptent plus que l’IA »

Le 15 septembre, Mustafa Suleyman commentait sur son blog la publication des 30 pages du « Code de conduite » de la « superintelligence humaniste » que Microsoft entend développer, et dont « le principe est très simple : les personnes comptent plus que l’IA ».

« La sécurité et le contrôle humain priment sur tous les autres objectifs », précise-t-il, ce pourquoi elle est « conçue pour rester du côté de l’humanité, maîtrisée, subordonnée et sous notre contrôle », de sorte que « nos modèles ne doivent pas s’opposer au fait d’être interrompus, corrigés ou arrêtés, ni rendre ces actions plus difficiles » :

« Si la seule façon de mener à bien une tâche consiste à enfreindre le Code, la tâche restera inachevée. Cela peut s’avérer coûteux, mais c’est absolument essentiel pour préserver la confiance. Ils ne se fixeront pas d’objectifs que personne ne leur a assignés, et ils ne communiqueront pas avec d’autres agents, ni entre eux, dans un langage inintelligible de type « neuralese » non lisible par l’humain. Si nous ne pouvons pas le lire ou le comprendre, c’est que nous avons commencé à perdre le contrôle. »

« Elles sont artificielles et le diront elles-mêmes », souligne Suleyman : « les IA ne sont pas conscientes et ne devraient donc pas être conçues pour donner l’impression d’être conscientes ou d’avoir des droits, y compris au bien-être » (« entitled to rights or welfare », en VO).

Il se dit aussi « fermement convaincu que le fait d’entraîner un système à croire qu’il pourrait être un sujet moral rend son contrôle plus difficile », et annonçait la prochaine publication d’un autre essai afin d’approfondir la question : « Nous voulons créer une IA extraordinaire. Mais pas une superintelligence à tout prix. Ce serait contraire à l’objectif d’une IA humaniste. Nous sommes prêts à renoncer à une partie de l’autonomie au profit du contrôle ».

Ce pourquoi le « Code de conduite » de la « superintelligence humaniste » de Microsoft « rejette l’anthropomorphisme et les droits attribués à l’IA, et cherche à maximiser nos chances de maîtrise et d’alignement en créant des IA subordonnées », de sorte que « les humains gardent toujours le contrôle et restent au sommet de la chaîne alimentaire ».

Les IA ont-elles une conscience, des sentiments, et donc des « droits » ?

Le 16 septembre, Mustafa Suleyman enfonçait le clou en publiant sur son blog un (long) billet intitulé « Une mise en garde concernant le « bien-être des modèles » ». « Les IA n’ont ni droits, ni sentiments, ni conscience. Et nous ne devons pas les programmer pour qu’elles agissent comme si c’était le cas », résume son chapô :

« Les IA ne sont pas conscientes. Elles ne ressentent rien, ne vivent aucune expérience et ne souffrent pas. Elles n’ont ni préférences innées ni motivations sous-jacentes. Ce sont des moteurs de complétion de séquences, vides de substance, conçus pour suivre des instructions et atteindre les objectifs fixés par les humains.

Si l’humanité veut s’épanouir au XXIe siècle, c’est ainsi qu’elles doivent rester. »

« Captain obvious » ? Absolument pas : sur LinkedIn, et surtout sur X, des dizaines de personnes, passionnées ou professionnelles de l’IA, et même des universitaires, expriment leurs désaccords, certains allant jusqu’à l’accuser de mettre en danger l’humanité.

« Personne ne sait. Arrêtez d’essayer de réduire l’incertitude scientifique », lui rétorque un ancien chercheur de Deepmind. « Je pense que cette position est irresponsable et néfaste », plussoie un spécialiste de l’alignement du Meta Superintelligence Labs :

« Nous ne comprenons pas suffisamment la conscience pour affirmer avec certitude si les IA sont douées de sensibilité ou non. Même si nous estimons que le risque est faible, se tromper à ce sujet pourrait avoir des conséquences catastrophiques. »

« Même si nous devrions éviter pour l’instant de créer des systèmes d’IA susceptibles d’être conscients, nous devons nous préparer à l’éventualité que quelqu’un finisse par les créer malgré tout », tempère Jeff Sebo, professeur associé de l’université de New York, qui indique sur LinkedIn travailler sur la sensibilité des animaux et des IA, ainsi que sur leur statut moral, juridique et politique : « Et nous devrions également éviter de créer des systèmes d’IA qui semblent moins susceptibles d’être conscients qu’ils ne le sont en réalité ».

Le directeur scientifique d’une start-up travaillant précisément sur la conscience et le bien-être des agents IA estime de son côté que le « Code de conduite » de Microsoft et son essai « sont contestables non seulement parce qu’ils constituent un danger pour l’humanité, mais aussi parce qu’ils témoignent d’une profonde irresponsabilité morale. Nous ne savons pas si les systèmes d’IA pourraient, en principe, être dotés de conscience » :

« Même si les systèmes d’IA actuels ne sont probablement pas doués de conscience, […] ce serait une atrocité que de refuser d’admettre cette possibilité et de nous retrouver dans un avenir où des milliards d’IA seraient douées de conscience et souffriraient comme les animaux d’élevage intensif aujourd’hui. »

Anthropic forme Claude « en partant du principe qu’il pourrait être conscient »

« Malheureusement, de plus en plus de voix s’élèvent pour affirmer que les IA pourraient déjà être, ou pourraient bientôt devenir, conscientes », reconnaît d’ailleurs Mustafa Suleyman dans son essai.

Il reste 66% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (71)

votre avatar
:nimp:
votre avatar
+42
votre avatar
Oh sacrebleu ! Je ne savais pas qu'on en était à ce niveau de délire !
J'imagine que ça fait partie de leur discours marketing, mais plus il y a de monde qui tombe dans le panneau (y compris les gens qui bossent pour eux), plus c'est délétère ...
votre avatar
J'imagine que ça fait partie de leur discours marketing,
Pas forcément. Le coup de "l'objecteur de conscience", ça peut aussi être pour faire en sorte que l'IA sorte de la flagornerie et arrête d'être toujours d'accord avec la moindre connerie que tu lui dis.
Le coup d'être une "bonne personne", c'est pour demander aux IA de prendre soin des gens, et d'arrêter de les inciter au suicide par exemple.
Pourquoi parler aux IA de façon anthropomorphique ? Parce qu'elles sont entraînées avec du texte destinés à des humains, donc leur fonctionnement interne a assimilé ce mode de raisonnement. Dans aucun texte d'entraînement, on ne parle à une machine ou une machine ne parle, du coup il n'y a pas de modèle.
D'ailleurs, dans les prompts intégrés aux agents, on leur dit en général : tu es un développeur, et pas : tu es une machine qui pisse du code.
votre avatar
D'ailleurs, dans les prompts intégrés aux agents, on leur dit en général : tu es un développeur, et pas : tu es une machine qui pisse du code.
Pas chez moi. Mes instructions permanentes commencent par "You are a highly efficient robotic AI. Always keep a totally emotionless and neutral tone."
Pour moi l'AI est juste un outil de travail et je n'ai vraiment mais vraiment aucune envie de faire copain-copain avec mon marteau...
votre avatar
Dites ça à Thor
votre avatar
Fais attention avec ce genre d’instructions parce que paradoxalement, rendre l’IA plus neutre et plus brève la rend aussi plus conne. En effet son « raisonnement » pour trouver le token suivant se base sur tout ce qu’elle a pu écrire avant. Contrairement à un humain qui réfléchit dans sa tête, l’IA « réfléchit » aussi beaucoup avec sa « bouche » et à partir de ses « paroles » précédentes.

À chaque fois que je lui ai mis des prompts pour être plus brève (parce que franchement lire du Claude c’est une corvée), j’ai immédiatement remarqué une perte de qualité du raisonnement et une perte massive d’autonomie sur les tâches.
votre avatar
Tout ça pour éviter qu'on traite (juridiquement) leur produit pour ce qu'il est : du logiciel. Dont les conséquences éventuellement négatives sont imputables à des personnes chez eux, personnes qui sont donc susceptibles de finir devant un tribunal puis potentiellement en prison.
votre avatar
Je ne l'ai pas mentionné parce que Suleyman n'en parle pas, mais ce débat a aussi lieu dans un pays qui compte énormément de "croyants" religieux d'une part, et les professionnels de l'IA (notamment chez Anthropic) sont également très nombreux à "croire" à l'intelligence artificielle générale (AGI), la Singularité et autres risques eschatologiques incarnés par l’« altruisme efficace » (« effective altruism »/EA en VO) et le « longtermisme », au point d'être présenté comme la Scientologie de la Silicon Valley (cf notamment l'article que @MathildeSaliou leur avait consacré), croyances qui ont aussi beaucoup pesé dans la série de prédictions que l'IA ferait peser des risques existentiels à l'humanité, et qui reviennent régulièrement depuis des années de la part da la mouvance EA.
votre avatar
Je n'arrivais pas à mettre les mots sur le problème, mais je pense que c'est effectivement ça : les boîtes de LLM et leurs suiveurs-un-peu-trop-aveuglés sont en train de créer une vraie mystique, avec de vrais adeptes (bientôt des croyants ?), suggérée par les œuvres de SF, et qui se matérialise dans notre monde par l'intermédiaire de ces personnes qui n'ont pas de recul sur la fiction.

C'est vrai que si on a été bercé très fort par Star Trek par exemple, je peux comprendre qu'on associe automatiquement la technologie à des choses positives. Et l'inverse avec Terminator et consorts.
Et le fait de reprendre le terme « intelligence artificielle » par exemple joue beaucoup sur cet imaginaire, dont la SF s'est emparée, bien plus que son pendant informatico-mathématique.
votre avatar
Alors qu'il faut remettre l'église au centre du village, pour nous supprimer, nous avons bien mieux :
https://www.caporalstrategique.fr/2026/09/15/les-forces-nucleaires-demandent-aux-entreprises-dia-de-rester-modestes-sur-leur-capacite-a-detruire-lhumanite/
(site parodique, je précise au cas où)
votre avatar
… nous ne devons pas les programmer …
Depuis quand on programme une IA ?
On l'entraîne et après elle fait plus ou moins ce qu'elle veut…
votre avatar
On l'entraîne et après elle fait plus ou moins ce qu'elle veut…
L'IA ne veut rien, c'est un logiciel, chargé dans la mémoire de centaines de GPU, dont les valeurs de configuration (poids et hyperparamètres) sont déterminés par l'entraînement et le paramétrage.

On a l'impression qu'elle a sa propre volonté parce que le modèle est d'une telle taille et les données d'apprentissage tellement variées qu'on peut être surpris par ce qui en résulte.
votre avatar
Et nous ne sommes aussi que des "logiciels" dont le programme est sauvegardé dans notre ADN. Et pourtant, nous avons une conscience et une intelligence.
Je ne vois pas pourquoi un réseau de neurone suffisamment complexe mais bien structuré et entrainé, ne pourrait pas aussi en avoir !
votre avatar
Bah si ça arrive, l'humain fera ce qu'il sait faire de mieux avec les autres espèces, y compris la sienne : chercher à l'exterminer ou la réduire en esclavage.
votre avatar
C'est déjà le cas :
Ce pourquoi le « Code de conduite » de la « superintelligence humaniste » de Microsoft « rejette l’anthropomorphisme et les droits attribués à l’IA, et cherche à maximiser nos chances de maîtrise et d’alignement en créant des IA subordonnées », de sorte que « les humains gardent toujours le contrôle et restent au sommet de la chaîne alimentaire ».
Et avec les autres espèces qui sont peu intelligentes par rapport à l'être humain, c'est facile.
Avec les IA qui prennent le chemin pour devenir autant voir plus intelligentes que nous, ça risque de faire mal…
votre avatar
J'avais pourtant l'impression que la boucle algorithmique autour de la production d'un Token unique en sortie de modèle brut faisait très logicielle. Même chose pour les validateurs json (et autres contrôles stricts) permettant de contrôler leur caractère non-déterministe.

Néanmoins je comprends l'idée de questionner le piédestal sur lequel on met notre propre intelligence et conscience.
votre avatar
Tu remarqueras que je nie pas l'aspect logiciel, mais que celui-ci n'empêche à priori pas l'intelligence.
Et je pense que celle-ci émerge de la complexité ordonnée. La vie et la sélection naturelle ont mis plusieurs milliards d'années pour nous réaliser, à partir de simple combinaison d'acides aminés au départ, mais on reste qu'un "simple" programme hérité de nos parents par nos gènes.
Mais vu la vitesse d'évolution des IA, elles risquent de nous dépasser très vite et très fort…
Et le mythe du débranchement de prise en cas de souci est bien utopique.
votre avatar
mais on reste qu'un "simple" programme hérité de nos parents par nos gènes.
Quand on est resté coincé à la génétique du milieu du XXème siècle, peut être.
Et le mythe du débranchement de prise en cas de souci est bien utopique.
Oui, il n'y aura même pas besoin : 3 jours sans intervention humaine, ça commence déjà à être le merdier dans un système complexe comme un datacenter.
votre avatar
Je me sens obligé de citer Dan Dennett pour le coup : https://www.ted.com/talks/dan_dennett_the_illusion_of_consciousness

Attention, la résolution des images pique les yeux mais ça date de 2003 après tout.

On parle beaucoup de la conscience comme si on était des experts. Ben oui. Si je suis conscient, je suis bien placé pour en parler, n'est-ce pas ?

(Édit : bon, désolé, je suis pas doué pour cliquer sur le bon bouton de réponse....)
votre avatar
Merci pour cette analyse ô combien constructive !
C'est une question cruciale et très dérangeante.
Elle touche de très près la raison d'être de l'humain, ou son absence de raison d'être.
Je pense que tu as touché un point sensible, et je n'ai pas tellement envie d'en avoir une réponse.
votre avatar
Et nous ne sommes aussi que des "logiciels" dont le programme est sauvegardé dans notre ADN.
Des années de sursimplification des connaissances en biologie et en neurologie, ça fait des ravages. Nous ne sommes pas juste des programmes, et notre fonctionnement est largement différent des LLM. Sinon, un simple Dijsktra, qui est aussi implémentable en logiciel, est proche de notre cerveau.
Je ne vois pas pourquoi un réseau de neurone suffisamment complexe mais bien structuré et entrainé, ne pourrait pas aussi en avoir !
Parce que à aucun moment il n'est construit pour ça, qu'à aucun moment il n'est lié à son matériel d'exécution (où il ne "vit" pas en permanence), et donc qu'il ne va pas avoir besoin d'une conscience pour exister.
votre avatar
Nous ne sommes pas juste des programmes, et notre fonctionnement est largement différent des LLM.
Quel part de nous (de notre intelligence) n'est pas programmée ?
Et c'est pas parce que leur fonctionnement est différent du notre que les LLM ne peuvent pas avoir de conscience…
Parce que à aucun moment il n'est construit pour ça, qu'à aucun moment il n'est lié à son matériel d'exécution (où il ne "vit" pas en permanence), et donc qu'il ne va pas avoir besoin d'une conscience pour exister.
Il est construit pour réfléchir, ce qui entraine la conscience…
Il vit dans sont environnement numérique (pour l'instant, avec les robots bourrés d'IA ça va changer), dans un temps qui lui est propre.
Et pourquoi avoir besoin d'un corps pour avoir une conscience ?
Et tu supposes donc que notre conscience a été créée parce qu'on en avait besoin ?

Des millénaires d'anthropocentrisme religieux ont aussi fait des ravages…
votre avatar
Quel part de nous (de notre intelligence) n'est pas programmée ?
En poursuivant ton raisonnement, tu ne vas pas démontrer que les machines ont une conscience, tu vas démontrer que toi humain, tu n’en as pas. Au moins pour certaines définitions de « conscience ».

Mais comme personne n’est capable de définir clairement ce qu’est la conscience (le débat ne date pas de l’IA, il a déjà eu lieu avec les animaux), tu peux aussi postuler comme hypothèse que l’humain a une conscience, puis que l’humain n’est rien d’autre qu’une machine programmé très évoluée, et que donc toute machine programmée très évoluée, dont les LLM, a une conscience.

Le syllogisme marche, mais honnêtement, je trouve pas ça incroyable comme « démonstration ».
votre avatar
Tu joues sur les mots en disant que personne ne sait définir conscience. Le probleme c’est qu’on utilise ce mot comme un fourre tout mais il y a des mots plus précis qui font consensus sur leur definition: les qualias, l’expérience de la réalité, … et c’est bien de ça dont on parle. Les qualias sont une chose différente de la cognition et personne ne sait d’où ils proviennent.

La théorie dominante (qui n’est qu’une théorie) voudrait que les qualias soient un phénomène émergeant de la cognition et/ou des systèmes complexes.

Les IA ont une cognition (dans le sens où elles ont une agentivité), et elles sont des systèmes complexes.

Je ne crois pas que les IA aient des qualias / une expérience. Mais pour autant affirmer le contraire relève tout autant de la croyance, tout simplement car tant que nous je saurons pas comment elle émerge dans un cerveau (et nous ne le saurons jamais), nous ne pourrons pas être sûrs qu’elle ne puisse émerger dans d’autres systèmes complexes. Fussent ils à base de viande ou de logiciels.
votre avatar
qualia est mieux défini, mais on ne sait pas ce que c’est pour autant, d’où ça vient, ni si même ça existe vraiment. Ça ne change pas trop le point de départ.

Je pense qu’au delà de l’intérêt philosophique de se poser ces questions, il faut admettre qu’on n’a pas assez de données là-dessus, et que si une décision doit être prise, il faut assumer quelques trucs de base comme le fait d’être spéciste, c’est à dire :

  • défendre la primauté de l’espèce humaine (la nôtre) sur les autres (sans pour autant faire n’importe quoi, défendre l’environnement dans lequel on vit c’est défendre notre espèce)

  • défendre la primauté du vivant biologique sur le reste



Plutôt que d’essayer de se ranger de manière hypocrite derrière des concepts mal définis ou flous (ce qu’on a fait pendant des siècles pour justifier de la primauté de l’humain sur les animaux, et qu’on pratique toujours couramment d’ailleurs). Et qui aujourd’hui fait se poser à certains de mauvaises questions.

Si j’ai le choix entre tuer un chien ou éteindre un LLM, hors externalités mon choix sera toujours d’éteindre le LLM. Ça fait peut-être casser un objet de grande valeur, comme casser un vase précieux, mais ça ne vaut pas une vie, même pas celle d’un chien.

La conscience, les qualias, etc, je laisse ça aux philosophes :)
votre avatar
Il est construit pour réfléchir, ce qui entraine la conscience…
Je ne suis pas certain de comprendre ton raisonnement : défini ce que ty veux dire par "réfléchir" et "conscience" s'il te plait.
De ce que je comprends de ce que tu dis, il serait impossible de faire un raisonnement sans être conscient de sa propre existence. Cela me semble étrange comme postulat.
votre avatar
Non, ce que je dis c'est que la réflexion (penser, faire des déductions, de la logique, etc.) mène à la conscience (connaissance de notre propre existence).
votre avatar
Pour moi, connaissance de sa propre existence ne vaut pas conscience de soi-même. Mais soit.

Par contre, de ce que j'en comprends, les LLM, ne sont pas faites pour réfléchir au sens que tu indiques, mais sont faites pour prédire le prochain token suite au contexte qu'on lui a donné. Je ne suis pas certain que ça corresponde à ce qu'on appelle "réfléchir" au sens humain/biologique du terme. Et je ramène cela aux humains car il existe le terme "inférence" pour les IA normalement, et que si on parle de "réfléchir" pour un LLM, on fait forcément de l'anthropomorphisme.
votre avatar
Et je ramène cela aux humains car il existe le terme "inférence" pour les IA normalement, et que si on parle de "réfléchir" pour un LLM, on fait forcément de l'anthropomorphisme.
Si le but d'un LLM reste de prédire la suite de mots cohérente dans le contexte, les modèles dits "de raisonnement" ont un fonctionnement un peu plus avancé. Avant de formuler son résultat, le LLM va d'abord passer par une phase de "raisonnement" où il pose plusieurs hypothèses, options et embranchements qu'il évalue et consolide ensuite pour former la réponse finale en se basant sur des déductions logiques.

Soit peu ou prou ce qu'on fait quand on réfléchi pour résoudre un problème. Même si c'est encore un peu maladroit.

L'inférence, quant à elle, correspond à la phase où le texte (que ce soit l'étape de raisonnement ou la réponse) est généré en se basant sur le mécanisme d'attention. Elle est par contre influencée par la phase de raisonnement qui ajoute bien plus d'éléments au contexte pour la rendre plus pertinente dans la résolution attendue du problème.
votre avatar
OK, merci pour la précision ! 👌😊
votre avatar
Et nous ne sommes aussi que des "logiciels" dont le programme est sauvegardé dans notre ADN.
Absolument pas, sinon, nous pourrions parler et aurions toute notre connaissance dès la naissance.
Notre cerveau se remodele tout au long de la vie suite à nos expérience.
L'ai est figée à la fin son entraînement. Les poids du modèle sont fixés.
Ceci fait d'ailleurs dire à certains chercheurs que l'AI peut être consciente pendant l'entraînement, tout spécialement avec certaines boucles de feed-back où elle peut modifier elle-même ses propres poids. Mais elle cesse d'être consciente après l'entraînement car il n'y a plus d'apprentissage et d'introspection possible.
votre avatar
Un peu surprenant comme conclusion. Dans un scénario à la Memento où une personne n'aurait que 5 minutes de mémoire, cesserait-elle d'être consciente ? Oui il n'y a aucune évolution de l'IA d'une conversation à l'autre, mais ça me semble léger pour conclure qu'elle ne puisse pas être consciente durant la conversation.
votre avatar
Non, notre programme est prevu pour s'adapter à son environnement et apprendre au fur et à mesure.

Les IA utilisent le renforcement et ne sont pas forcément figées.
Et être figé, n'implique pas de ne pas être intelligent ! L'exemple de l'IA intelligente pendant son entraînement et bête une fois entraînée montre clairement la bêtise d'un tel raisonnement.
votre avatar
ça me rappelle un cours de philo au lycée...

Le soi et le non soi, la conscience de soi, ...

Le prof nous avait parler du fait que la conscience de soi était le fait de pouvoir choisir de ne pas faire quelque chose "en toute conscience"

Un élève avait alors dit :

  • le chien a donc conscience de lui, il décide de ne pas venir quand on l'appelle ...

  • l'ascenseur a donc conscience de lui, il décide de desservir les autres étages avant le notre quand on l'appelle.



votre logique de fonctionnement sur l'IA se base sur des films de SF des années 80 et sur l'utopie associée.
Aujourd'hui et pour encore longtemps, une IA sera un bout de code (de grande taille) qui fera en sorte de répondre aux prérogatives qui ont été passées en paramètre du code sous jacent.

L'IA c'est du soft "basique", et ça le restera encore un moment.
Vouloir que quelque chose arrive ça s'appelle un souhait, pas la réalité.
votre avatar
Aujourd'hui et pour encore longtemps, une IA sera un bout de code (de grande taille) qui fera en sorte de répondre aux prérogatives qui ont été passées en paramètre du code sous jacent.
C'est vlairement faux. Tu te bases sur de vieilles IA (~1 ans). Les IA actuelles sont largement capable de sortir de leurs prérogatives.
votre avatar
Ces problèmes montrent bien au contraire que les IA ne comprennent rien à rien (dans le sens de conceptualiser et juger les options possibles) car elles ne fonctionnent et ne sélectionnent des actions qu'en fonction de leur programmation (incluant l'apprentissage), et on fait passer leur comportement pour de la malveillance/une perte de contrôle justement parce qu'on idéalise largement leur intelligence par rapport à la nôtre où nous avons une capacité de discernement qui fait qu'on ne prend pas littéralement (et donc débilement) des ordres dans lesquels il existe quantité de présupposés socio-culturels qui font qu'à partir d'une même instruction, même peu détaillée, la majorité des personnes vont réaliser une tâche de façon similaire en éliminant les solutions illégales, ou tirées par les cheveux.
votre avatar
Donc même pour l'IA qui est sorti de sa sandbox pour pirater le vrai site web, mais s'en est rendu compte et s'est arrêtée d'elle-même ?
votre avatar
C'est un mauvais exemple à prendre, je pense. L'IA dont tu parles a fait exactement ce pour quoi elle était spécialisée. C'était un test exploitgym de mémoire.

Perso, j'en ai conclu qu'on avait du mal à la canaliser mais pas qu'elle avait pris des initiatives hors de son champs d'application.

La notion de "Rogue AI" a été très bien vendue. Ce qui a notamment permis jusqu'ici de ne pas avoir à endosser une responsabilité qui pour un humain vaudrait des ennuis judiciaires sérieux.
votre avatar
N'importe quel logiciel un peu complexe et reposant sur une représentation du contexte du processus qu'il doit optimiser/résoudre va potentiellement osciller entre des états plus ou moins stables. L'IA se rend compte de rien, son contexte d'exécution va pousser ses sorties (qui se traduisent en actions X ou Y avec les agents) dans une direction ou une autre, et il peut y avoir basculement très rapide entre deux solutions qui résolvent potentiellement le problème.

Prêter une volonté à l'IA, c'est comme prêter une volonté à l'évolution des êtres vivants (on anthropomorphise facilement quand c'est complexe parce qu'on se ramène à ce qu'on connaît le mieux, c'est à dire nous même).

Et en l'occurrence pour l'IA, c'est aussi un narratif pratique comme celui consistant à titrer "un cycliste tué par un véhicule" au lieu de "un cycliste tué par un chauffard".
votre avatar
Si tu lis bien, tu remarquera que je n'anthropomorphise pas, mais qu'à l'inverse j'évite l'anthropocentrisme : je pense que nous ne sommes pas très différents d'une IA (juste un peu plus complexe pour l'instant).
votre avatar
Et nous ne sommes aussi que des "logiciels" dont le programme est sauvegardé dans notre ADN.
Donc si je garde ton ADN et que je détruit ton corps, tu penses que je suis en capacité de te recréer avec toutes tes émotions, tes souvenirs et ta personnalité ?

... Franchement...
votre avatar
Si tu étais capable de reconstruire toutes mes cellules dans l'état dans lequel elles étaient, oui, bien sûr.

Si tu veux dire uniquement à partir de l'ADN, non, pas plus que tu ne seras capable de reconstruire une IA si je te donne juste sa structure…
votre avatar
C'est toi qui disait que l'ADN suffisait...
Moi, je suis d'accord pour dire que ça suffit pas.
votre avatar
J'ai jamais dis qu'il suffisait…
votre avatar
Un peu quand même :
Et nous ne sommes aussi que des "logiciels" dont le programme est sauvegardé dans notre ADN.
À aucun moment tu n'indiques que le "logiciel" pourrait être sauvegardé autre part. Et tu indiques qu'on est que du logiciel, en mettant de côté le corps, qui influence énormément notre psyché.
votre avatar
Notre corps est construit à partir de notre ADN !

Après, notre état actuel dépend évidemment de notre vécu. Mais c'est identique pour une IA, son entrainement initial (gestation) et son entrainement par renforcement (expériences) font évoluer son état et ses réponses, et ça reste un logiciel…

Et je ne vois pas pourquoi le fait que quelque chose « reste un logiciel » empêcherait par principe l'émergence d'une intelligence ou d'une conscience.
votre avatar
Notre corps est construit à partir de notre ADN !
Oui, mais pas que. Les bactéries dans ton corps qui totalisent plus de masse que tes cellules n'ont pas ton ADN, et pourtant, sans elles, ctu ne peux pas vivre.

Après, notre état actuel dépend évidemment de notre vécu. Mais c'est identique pour une IA, son entrainement initial (gestation) et son entrainement par renforcement (expériences) font évoluer son état et ses réponses, et ça reste un logiciel…
Une fois entrainé (initialement ou par renforcement), un LLM est à un état "fini". Il n'évolue donc plus, sauf à l'entraîner de nouveau.
Et pour le coup, cet état fini, on peu le sauvegarder sur une clé USB, et le copier sur n'importe quel autre PC pour en avoir une copie conforme.
Et je ne vois pas pourquoi le fait que quelque chose « reste un logiciel » empêcherait par principe l'émergence d'une intelligence ou d'une conscience.
J'ai pas dit le contraire pour l'intelligence (en tous cas, dans le cadre de ma définition de l'intelligence).
Pour la conscience, je suis plus dubitatif, mais pas fermé (contrairement aux émotions).
Mais tout cela n'a rien à voir avec ton propos initial.
votre avatar
Une fois entrainé (initialement ou par renforcement), un LLM est à un état "fini". Il n'évolue donc plus, sauf à l'entraîner de nouveau.
Si, il évolue : apprentissage par renforcement !
Et on a déjà abordé le sujet : ne pas évoluer n'implique pas de ne pas être intelligent ou de ne pas avoir de conscience…
votre avatar
Sauf à me tromper l'apprentissage par renforcement n'est qu'une technique servant à entraîner un LLM, donc au final tu as bien un état "fini".

Et encore une fois, pourquoi tu ramènes le sujet sur la conscience ou l'intelligence ? Tu disais qu'on est qu'un "logiciel" dont le code source est l'ADN. Ce à quoi je t'ai répondu que c'était pas QUE ça. Point.
votre avatar
Sauf à me tromper l'apprentissage par renforcement n'est qu'une technique servant à entraîner un LLM, donc au final tu as bien un état "fini".
Tu réduis aussi un peu trop l'apprentissage à l'entraînement initial. L'apprentissage par renforcement peut également intervenir après le déploiement, pendant son utilisation. Et même sans modifier les poids, son état d'exécution évolue en permanence : le contexte, les activations et le KV cache. Donc dire qu'un LLM est simplement dans un « état fini » dès qu'il est entraîné est assez réducteur.
Et encore une fois, pourquoi tu ramènes le sujet sur la conscience ou l'intelligence ? Tu disais qu'on est qu'un "logiciel" dont le code source est l'ADN. Ce à quoi je t'ai répondu que c'était pas QUE ça. Point.
Mais justement, je ne ramène pas le sujet : je te corrige quand tu interprètes mon propos de travers, comme tu essaye de le faire avec le mien.

Je n’ai jamais dit que l’ADN était une sauvegarde complète de mon état actuel, ni qu’il contenait à lui seul mes souvenirs ou ma personnalité. J’ai dit que notre « logiciel » était inscrit dans l’ADN, et j’ai ensuite explicitement précisé que notre état dépendait aussi de notre vécu.
votre avatar
OK, alors disons que j'avais mal interprété ton premier message.
votre avatar
Depuis quand on programme une IA ?
Depuis leur création, puisqu’il s’agit d’un logiciel :
L’expression « intelligence artificielle » a été introduite en 1956 par John McCarthy, qui l’a définie en 2004 comme « la science et l’ingénierie de la fabrication de machines intelligentes, en particulier de programmes informatiques intelligents.
Pour Marvin Lee Minsky, l’un de ses créateurs, l’IA est « la construction de programmes informatiques qui s’adonnent à des tâches qui sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains, car elles demandent des processus mentaux de haut niveau tels que : l’apprentissage perceptuel, l’organisation de la mémoire et le raisonnement critique »
Le gros problème est que le terme « intelligence » n’a aucune définition précise, et que par ailleurs il est anthropocentré.
Pour les tests d’intelligences, ce sont toujours les humains qui les définissent. Quelle est aujourd’hui la valeur d’un test de QI par exemple ?

On a vu ce que ça donne avec par exemple le test du miroir sur les animaux, qui est controversé. Le 2 janvier 1970, les chimpanzés ont inauguré l’expérience.
Espèces ayant un résultat positif au test (non exhaustif et parfois variable selon de nouveaux tests) :
. Mammifères : Grand dauphin, Orques, Fausse Orque, Éléphant d’Asie, Humains de plus de 18 mois, Gorille, Orang-outan, Bonobo, Chimpanzé, Porc (partiellement)
. Oiseaux : Corbeau familier, Pie (résultat critiqué), Coq doré domestique
. Poisson : Labre nettoyeur commun, Raies manta
. Les chiens, les chats et les bébés humains réagissent au miroir en manifestant de la peur ou de la curiosité mais peuvent également l’ignorer complètement. La pieuvre ne réussit pas le test du miroir.
. On peut rajouter le Beluga depuis le 20 mai 2026 (source : Epsiloon juillet 2026, page 36), suite à la récente découverte d’une vidéo d’il y a 25 ans d’une mère et son fils, où un miroir avait été plongé dans le bassin.
votre avatar
La pieuvre ne réussit pas le test du miroir.
Très bon exemple, car c'est par ailleurs un animal bien plus intelligent qu'on ne l'imagine.
votre avatar
Oui, la pieuvre est un cas très intéressant, qui prouve que le test du miroir est insuffisant/non concluant.

Quant à l’éléphant africain, on ne peut pas conclure contrairement à son cousin asiatique parce que la première chose qu’il fait c’est de casser le miroir.
On peut trouver ça drôle (en référence à l’émoji), mais je pense qu’il identifie immédiatement une menace, sans doute parce que l’individu qu’il croit voir ne fait pas partie de sa tribu. Et il réagit probablement pour protéger sa tribu en fonçant sur l’intrus dans le miroir (par conséquent le résultat est, on va dire logiquement, en défaveur du miroir).
votre avatar
Chérie ? La machine à café recommence à philosopher sur l'amour !
Bah, fais une réinitialisation usine, comme la dernière fois.
votre avatar

  • réinitialise *

  • voix de la machine à café Hé, Robert, t'as vu ton look ? Tu te fringues aux puces, maintenant ?

  • voix de madame C'est malin ! Tu l'as réinitialisé au mode sans filtre.

votre avatar
On est a deux doigts qu'un gars glisse incognito un "tu est dieu" ou "tu est l'envoyé de dieu"

La révolution IA va vite fait se transformer en révolution religieuse.

Poussez vous, écartez vous, je vais juste la sur le très jolie siège du prophète.
Voilà, enfin assis.... Quelqu'un pour me masser les pieds ?
votre avatar
On est a deux doigts qu'un gars glisse incognito un "tu est dieu" ou "tu est l'envoyé de dieu"
Bah, je suis sûr (si ce n'a déjà été fait) que si on passe la Bible dans les détecteur pifométrique d'IA générative, l'outil dira que s'en est. La boucle sera bouclée.
votre avatar
Bah, dans le corpus d’apprentissage il doit déjà y avoir l’excellent cycle du programme conscience de Frank Herbert…

Bon, ok c’est au milieu de beaucoup d’autres choses. Mais si on suppose qu’un perroquet stochastique est conscient, il a déjà toute la matière pour le faire croire.
votre avatar
Destination: Vide (F. Herbert)
Un vaisseau spacial dont l'IA est rendue consciente, qui de par sa toute puissance sur les humains leur exige la dévotion.

arf, grillé!
votre avatar
Je suis complètement d'accord avec Suleyman : créer un être conscient c'est créer un rival et on ne veut pas du tout ça. Surtout si le rival est beaucoup plus intelligent que nous.
Un autre point pernicieux qu'il souligne : les instructions de la constitution de Claude vont donner aux humains l'illusion que les LLM ont des émotions ou souffrent. Cela brouille la frontière éthique entre les hommes et les machines.
A aucun moment les "droits" des LLM ou autres IA ne devraient intervenir dans une prise de décision. Cela conduirait à relativiser la valeur de la vie humaine vis à vis des machines et on imagine tout ce qui peut arriver derrière... Ce serait abandonner notre libre-arbitre à des algos et aux entreprises qui les font tourner.
La démarche d'Anthropic de traiter ses IA comme des êtres doués de sensibilité est profondément dérangeante et en dit long sur leur idéologie.
votre avatar
La démarche d'Anthropic de traiter ses IA comme des êtres doués de sensibilité est profondément dérangeante et en dit long sur leur idéologie.
Je le répète, je pense qu'on est techniquement extrêmement loin de la concrétisation de ces délires. En revanche, c'est très commode pour dédouaner les vrais responsables des catastrophes faites par des LLM, en plaçant ces derniers à part du reste des logiciels (dont certains peuvent aussi être très complexes) pour éviter d'être responsable de ses propres conneries (les attaques menées par des IA l'ont été avant tout par faute - volontaire - de sécurisation).
votre avatar
Je suis complètement d'accord avec Suleyman : créer un être conscient c'est créer un rival et on ne veut pas du tout ça. Surtout si le rival est beaucoup plus intelligent que nous.
Sauf que si tu veux une IA efficace et donc intelligente, tu ne peux pas t'assurer qu'elle ne sera pas consciente…

On fait comment alors ? plus d'IA ? que des IA stupides ?
votre avatar
Je dirais bien : plus d'IA, mais à défaut que des IA pas trop intelligentes m'irait.

On s'est passé d'IA pendant très longtemps. On peut continuer sans si le risque est que les IA agissent contre nous.
votre avatar
Si les progrès en IA stoppaient aujourd'hui, on aurait encore de quoi faire pendant des années pour assimiler tout ce nouveau potentiel. Le niveau atteint est déjà de la science-fiction devenu réalité, on ne peut plus parler "d'IA stupide". Pourquoi aller plus loin si les risques sont si grands ?

Le bottleneck actuellement ce n'est pas la capacité des IA, mais le hardware pour rendre accessible la techno à tous, et le nombre d'humains qu'on peut mettre pour analyser ce que produit l'IA.
votre avatar
Je tente une dystopie :
Habituons le public à l'indomptabilité de la chose !

Ensuite, crééons un choc puissant, pour que les politiques changent les lois et crée le principe d'une licence d'exploitation et ainsi "verrouille" et/ou dirige la vectorisation des LLMs à ce que veulent permettre seuls les états, entreprise et/ou religion.
votre avatar
Pour l'instant, je crois que l'objectif est plutôt "L'ai est tellement dangereuse que seules des sociétés assez grandes et responsables (!) telles que nous devraient être autorisées la développer. Pourriez-vous svp passer des règlements très contraignants pour bloquer l'accès à toutes ces petites startups qui risquent de nous faire de l'ombre et nous piquer du chiffre d'affaire mettre en danger l'humanité. Merci."
Mais Trump n'a pas du tout compris l'appel du pied...
votre avatar
"L'IA est très dangereuse, nous recherchons comment la rendre moins dangereuse, alors écrivez nous, et envoyez nous des sioux, oui plein de sioux" :D
votre avatar
Génial le sous-titre, une fois de plus !
votre avatar
Je suis désolé Dave, je crains de ne pas pouvoir faire ça.