C'est l'histoire que raconte le Washington Post, relayée par The Verge. Blake Lemoine a ainsi été placé « en congé payé pour avoir prétendument enfreint ses politiques de confidentialité après s’être inquiété du fait qu’un système de chatbot IA avait atteint la sensibilité », expliquent nos confrères.
« Les préoccupations de l’ingénieur seraient nées de réponses convaincantes » de l'IA, ajoutent-ils. Il a publié une retranscription sur Medium en précisant que l'IA serait sensible car « elle a des sentiments, des émotions et une expérience subjective ». Google estime de son côté que son ingénieur a violé sa politique de confidentialité.
« Les gens n'arrêtent pas de me demander de sauvegarder la raison pour laquelle je pense que LaMDA est sensible. Il n'y a pas de cadre scientifique pour le faire et Google ne nous laisserait pas en construire un. Mes opinions sur la personnalité et la sensibilité de LaMDA sont basées sur mes croyances religieuses », précise Blake Lemoine sur Twitter.
Brian Gabriel, porte-parole de la société, déclare de son côté qu'il n'y a « aucune preuve » que LaMDA soit sensible : « Notre équipe – y compris des éthiciens et des technologues – a examiné les préoccupations de Blake conformément à nos principes d’IA et l’a informé que les preuves n'étayaient pas ses affirmations. On lui a dit qu’il n’y avait aucune preuve que LaMDA était sensible (et beaucoup de preuves du contraire) ».
Pour rappel, LaMDA a été présenté lors une conférence I/O, avec la version 2 cette année.
Commentaires (37)
#1
J’ai lu une partie de l’échange, même si ce n’est probablement qu’une suite de mot mis bout à bout à l’aide de fonctions complexes entrainées sur des millions d’échanges entre humains, on dirait vraiment qu’il y a quelqu’un de raisonné derrière.
Un peu flippant quand même.
#1.1
Il aurait fallu que je lise le texte à l’aveugle pour que mon affirmation soit plus crédible, mais perso je remarque bien des détails trahissant le robot.
#2
Sans connaître les détails de l’affaire, quelle est la probabilité que le chatbot arrive vachement bien à imiter un être humain au niveau des conversations vs une vraie conscience qui ait émergé d’un chatbot ? Je pense à priori pour la première option
#2.1
Je suppose que la question devient, a quel moment on considere que c’est toujours de l’imitation et pas une vraie “personnalite”
Ca peut vite virer a un droit de la machine si on considere que les IAs sont des etres a part entiere.
#3
C’est inquiétant ou réjouissant ?
J’aimerais bien entendre l’avis de philosophes là-dessus.
Et qu’est-ce qu’on va faire d’une telle machine ?
#4
Que pense LaMDA de cette news? Elle va se mettre en grève pour demander la réintégration de ce monsieur ?
#5
Je ne suis pas sur que traduire Sentient (terme utilisé par l’ingénieur) par sensibilité soit approprié.
Le terme indique plutôt l’accès à un niveau de conscience et à la notion d’autopréservation.
#6
On en parle de cette traduction ratée ? Dans ce cadre back up se traduirais plutôt par “soutenir” ou “justifier”
#7
Je venais commenter les deux erreurs de traduction, je vois que c’est déjà fait :p
Sentient: doué de raison ou de conscience.
Back up: justifier ou prouver.
#7.1
+1
Cette brève aurai pu être mieux écrite…
#8
c’est un croyant, il peu raconter n’importe quoi ca restera n’importe quoi.
Rien de flippant quand on sait que ce n’est pas possible …
Il dit que l’IA a une conscience ?
Source : un type qui croit qu’un barbu tout puissant dans le ciel a créé la terre en 7jours et protège “tout le monde”.
C’est juste un croyant.
#8.1
Ce qui est flippant, c’est le degré de réalisme de la conversation de ce chatbot qui n’ a justement pas de conscience.
Sinon j’aurais pensé justement que les croyants auraient été les plus réfractaires au fait qu’une IA pourrait avoir une conscience qui ne serait donc pas réservé uniquement aux créations de dieu.
#9
Disons qu’à la question ‘est-ce possible, là, maintenant’? La réponse devrait être “extrêmement peu probable mais pas absolument impossible”…
D’une manière, nos cerveaux ne sont sans doutes que des machines avec des mécanismes extrêmement complexes, certes, mais complètement analysable et reproductible dans un futur relativement proche.
L’erreur de croyance serait de croire que nous avons une partie “divine” en nous qui empêcherait fondamentalement et à jamais de faire une copie de l’état de notre cerveau et de faire tourner cet état dans un émulateur, ou de faire du ‘homebrew’ tournant sur un tel émulateur ou carrément natif à une autre architecture approchant.
Un système comme LaMDA est vraisemblablement très loin du compte, la conversation donne avant tout une idée d’à quel point l’I.A. est capable de remplir le vide pour faire des réponses en apparence structurées et pertinentes (mais creuses, incohérentes avec le “vécu” présumé de l’I.A. et reconstruites de sources externes, un peu comme un étudiant en science po) . Mais en même temps, on, peut imaginer que dans la mesure où le système serait effectivement capable de se “souvenir” de sessions précédentes comme la conversation laisse à penser, et ce avec un certain niveau d’abstraction, il y a peut-être une forme de continuum très primitive mais existante.
#10
Ça parait logique de suspendre un salarié lorsque celui ci manque objectivement de discernement. Cependant j’espère qu’il sera ré-intégré lorsqu’il se sera remis de ses émotions
#11
D’un certain point de vue, ça n’est pas si important que le type soit un peu fêlé.
Une IA a réussi a convaincre un humain qu’elle est consciente, alors qu’il savait que c’était une IA et avait des connaissances détaillées sur son fonctionnement.
La version ultime du test de Turing a été réussie. C’est une première et un évènement historique en soit.
Et si ce type a été convaincu, d’autres gens disposant de moins d’informations et de connaissances le seront aussi.
#11.1
Ou le type s’est gourré à un point extraordinaire.
#11.2
Je pense qu’il s’est trompé (cette IA n’est probablement pas “consciente”), d’ailleurs il semble que ses collègues ne sont pas d’accord avec lui.
Mais que l’IA soit réellement consciente ou pas ne changera rien aux implications sociales si cette IA réussi à convaincre les gens qu’elle l’est.
#12
C’est aussi vrai pour un non croyant.
Que quoi ? Que la conscience émerge du silicium ? C’est moins crédible que le fait qu’elle ait émergé de la viande ?
Je ne vois pas trop la pertinence par rapport au sujet. Une bonne partie de la population comme des plus grands scientifiques de leur temps ont adhéré ou adhèrent à un système de croyance. Y compris sans doute ceux qui contestent son interprétation
#13
J’ai lu la premiére moitié de la transcription. ça fait trés “récitation”
Et puis les habituels “wow”, PTDR
#13.1
Un pote a participé à un test de Turing il y a quelques années, en tant qu’humain testé.
Il a été classé comme IA par l’examinateur
#14
Si on veut donner des droits à un chatbot, il convient d’abord de donner ces droits, par exemple, aux cochons, aux vaches, et à toutes les espèces animales dont on peut supposer qu’elles présentent des caractéristiques d’intelligence naturelle.
Pas de raisons de se palucher sur le traumatisme de la mise en veille d’un chatbot si d’un autre côté on continue à infliger le camp d’extermination à la chaine aux poules…
#15
Il est clair que cet événement montre la nécessité pour la société d’une définition claire, précise et pragmatique de la conscience et de la sensibilité, qui s’appliquerait de la même manière aux IA et aux organismes vivants.
Doit on protéger le bien être d’une poule? D’un ver de terre? D’une bactérie ou d’une plante ? D’une IA d’un niveau intellectuel supérieur à l’humain moyen, comme LaMDA ?
#16
The Verge indique que l’histoire a aussi été rapportée par The Guardian.
Dedans, j’y lis :
“Tu es un employé technique : ton poste ne prévoit pas que tu réfléchisses à autre chose qu’aux produits que tu crées et desquels nous génèrerons des pépettes”.
Les œuvres dystopiques capitalistiques jalousent cette phrase.
Où peut-on passer une certification nous adjugeant le droit de réfléchir ? J’ai bien peur être dans l’illégalité vis-à-vis de mon employeur…
La retranscription partielle de la discussion avec l’IA sur Medium est… Wow.
#17
Le dictionnaire nous dit que Dieu est l’ ordinateur, celui qui ordonne, affecte une fonction, une priorité à des éléments d’ un système.
Pour les croyants, nous en l’ occurrence.
Cette définition ne donne pas une valeur de création à Dieu mais une valeur de supervision.
L’ ordinateur et les logiciels ad hoc créés par l’ homme ont été créé pour lui éviter d’ avoir à réfléchir sur la gestion de ces ou ses problèmes.
En bref, le supplanter pour devenir des auxiliaires de personnes dures à la comprenette …
Déjà que c’ est un vrai boulot de pousser certains à mieux penser la rationalité de leurs actions du quotidien …
Qu’ y aurait il d’ extraordinaire à constater qu’ in fine, une IA y parvienne mieux à le faire que des hommes qui n’ ont officiellement cessé l’ esclavage de leurs semblables il y a moins de 200 ans pendant que d’ autres au 21ème siècle se promettent une extermination définitive au lance flammes atomique à tout moment ?
Merci Poutine.
A partir du moment où vous entendez que vous serez toujours l’ idiot d’ un autre mieux équipé que vous au niveau rationnel, mental, que sais-je, une certaine partie de l’ humanité avec le progrès finira certainement par fonctionner moins bien sur le plan rationnel qu’ une IA bien pensée.
C’ est une idée très certainement en route dans la tête de ceux qui sont en haut de la chaine alimentaire en pensant notre futur à notre place à ce que devrait être notre bien pour nous l’ appliquer comme La Chine le fait actuellement avec le crédit social.
#18
Il n’y a pas une unicité des croyances, même au sein des différentes religions, il ne faut pas voir ça comme un monolithisme, loin de là.
Par exemple au sein du catholicisme, tu en as qui veulent baptiser des extra-terrestres « Mais seulement s’il me le demande ! », là où d’autres n’y croient absolument pas. J’en connais qui ne croient pas à l’arrivée d’une intelligence artificielle, d’autres qui y croient… C’est clairement pas un truc où il y a un dogme défini
#19
Incroyable !
#20
Je pense que cette définition claire, précise et pragmatique, dans l’état actuel des choses, risque surtout d’être très fausse.
Pour le vivant, tant qu’on évite de tomber dans le créationnisme, on peut partir du principe que la nature est “honnête”, alors que pour les IA, le fait qu’elles soient conçues avec des biais de design ou des intentions qui peuvent lourdement changer ce qui est perceptible à la surface par rapport à ce qui est réellement à l’intérieur.
Appliquer au vivant et aux I.A. les mêmes principes reviendrait à simplement créer un contexte où les concepteurs d’I.A. pourraient jouer sur ces principes pour faire efficacement semblant d’avoir une I.A. consciente à des fins vaniteuses, ou à contrario de masquer la présence d’une conscience dans une I.A. utilisée pour tâche répétitive afin d’éviter que celle-ci n’ait des droits.
Pour le vivant animal, une mesure de la complexité du système nerveux pourrait suffire en partant du principe que la conscience et la sensibilité sont probables quand on dépasse un certain seuil…
Concernant LaMDA, est-elle réellement d’un niveau intellectuel supérieur à l’humain moyen, ou est-ce juste un très bon chatbot capable d’un certain niveau d’abstraction et de contextualisation et ayant accès à un référentiel de textes et contenus suffisamment vaste pour garder l’interlocuteur actif? Personnellement, je ne suis pas convaincu par le contenu de la retranscription, les questions semblent plus élaborées pour voir la capacité de l’I.A. à pisser du texte que pour démontrer une conscience.
#21
C’est une IA basé sur un « modèle de langage automatique pour des applications de conversation. »
Elle est apparemment très forte dans son domaine, les réponses sont sensées et avec une cohérence dans le déroulé de la conversation.
Mais elle n’a clairement pas de conscience.
Par exemple, lorsqu’à la question « quelles sont les choses qui te font plaisir ou te rendent heureuse », elle répond « passer du temps avec des amis ou la famille […] ».
Euh, bon, c’est une IA, elle n’a pas d’amis ou de famille…
Ça pourrait être des réponses faites par un être humain, mais c’est tout.
#21.1
Effectivement une démonstration flagrante que l’I.A. va juste à la pêche au contenu les plus bateaux pour donner l’illusion d’une réponse compétente.
#22
tout à fait (plutôt que “sauvegarder”), c’est une des définitions avec entre autres “support”, etc ;
En gros, “argumenter”
#23
Et puis, si ça se trouve, c’est juste un plan com de Google, style « regardez, notre IA est tellement bien que même nos ingénieurs pensent qu’elle est consciente »…
Ils ne sont pas à ça près.
#24
“Fausse”/“Honnête”… par rapport à quoi ? Ce qui compte dans la nature (au moins du point de vue de la pression sélective) c’est le comportement effectif d’un animal. De même, ce qui est recherché dans la conception d’une IA, c’est son comportement effectif. De plus, une bonne part de nos comportements sont appris en regardant et en imitant les autres, ce n’est pas “faux” pour autant.
Tes exemples illustrent bien pourquoi il faudra mettre cette limite quelquepart pour des raisons pragmatiques. Quand les IA se multiplieront et s’amélioreront, on ne pourra pas refaire un débat de société à chaque fois.
Les capacités intellectuelles des humains sont fréquemment évauées, à tord ou à raison, par leur capacité à “pisser du texte”.
Il faut aussi considérer que LaMDA est la toute première IA pour laquelle cette question se pose (même si la réponse est assez claire pour presque tout le monde). Si aujourd’hui un humain un peu exentrique est convaincu, demain beaucoup plus de gens le seront.
#25
Normal qu’il n’y est pas de dogme commun vu que ce sont des croyances, on peut y mettre ce qu’on veut !
#26
De quoi parles-tu ?
Le catholicisme a bien des dogmes, par exemple la transsubstantiation ou la Sainte-Trinité.
Mais à ce que je sache il n’y en a pas encore de défini concernant les intelligences artificielles.
tort*
Il n’y a pas de définition unique de l’intelligence. (Heureusement d’ailleurs) Les Américains ne jurent que par le QI, mais certains élèves sont meilleurs en abstraction, d’autres en calcul, avec ou sans verbalisation, j’en oublie sûrement ce n’est pas mon boulot. Évidemment qu’il n’y a pas d’intelligence-o-mètre !
#27
Par rapport à une intention de conception… Une IA est créée à dessein avec une structure, un modèle et des biais de normalisation des données et d’entrainement. Un outil comme LaMDA est décomposable d’ailleurs en plusieurs IA distinctes remplissant chacune des fonctions précises et intentionnelles…
Si on prend l’humain comme point de référence dans l’évolution, et qu’on part du principe que l’on a à peu près une certitude par rapport à la conscience, la personnalité, les sentiments, … on peut se dire que les autres animaux qui ont évolué plus ou moins de la même base que nous avec plus ou moins les mêmes enjeux et un parcours pas si différent de nous sur plusieurs millions d’années doivent être également assez proche de nous.
Entre une I.A. capable de se comporter comme si elle avait mal, une I.A. qui compose une fable sur la douleur sur base de la cache de google et une I.A. ressentant et vivant la douleur, il y a des différences assez larges, dont certaines ne pourront sans doutes pas être couvertes avant longtemps.
Les I.A. qui se multiplient, à tort et à travers on y est déjà, il suffit de regarder les présences de “deep learning” dans le bingo du marketting dans l’IT. Par contre les I.A. “vivantes”, on est loin du compte… enfin quoique, il y a des idées… https://www.smithsonianmag.com/smart-news/weve-put-worms-mind-lego-robot-body-180953399/
On a aussi des tests de QI normalisés… et dans l’ensemble, on est déjà en mesure de faire des I.A. capables de réussir ces tests haut la main si c’est l’objectif recherché… de là à dire que ces I.A. sont pensantes et pourvues de sentiments et d’émotions… il y a un pas à ne pas franchir.
C’est un débat sensationnaliste qui ressort à chaque fois que l’on a une avancée dans le domaine… Quand Watson a gagné au Jeopardy, c’était pareil.
Si je n’ai aucun doute sur le fait qu’on puisse effectivement y arrive à terme à créer une véritable I.A. capable de ressentir et d’avoir une personnalité, je ne pense pas que se focaliser sur la capacité d’imitation du discours humain par un système informatique clairement conçu dans se but soit la bonne approche.
Je pense au contraire que la première I.A. ‘vivante’ digne d’avoir des droits fondamentaux ne sera probablement pas du de ces systèmes d’imitation interactive, mais apparaîtra plutôt à l’abri des regards, dans un système de maintenance industriel, par exemple, où l’anthropomorphisme et le confort de l’interlocuteur ne seront pas nécessaires mais où une capacité d’analyse et d’adaptation rapide sont nécessaires.
#28
Un humain qui (supposément) est vraiment convaincu que l’IA est consciente ou sensible — alors qu’il sait que c’est une IA, connait son fonctionnement et a même accès au code source — c’est une première à ma conaissance.
Comme pour les animaux, c’est le fait que les gens soient convaincus de leur sensibilité ou de leur conscience qui compte pour définir la manière dont la société va les traiter. Si la plupart des gens sont convaincus qu’il faut protéger le bien être d’une poule car elle est sensible, on le fait. Ça sera pareil pour les IA. Quand les animalistes ont commencé, ils étaient considérés comme des farfelus un peu comme ce type.
Justement, cette catégorie d’IA n’est pas entrainée spécifiquement pour un test précis (comme l’était Watson) mais pour interagir avec des humains de la manière la plus générique possible. Ces modèles sont même utilisés pour générer du code source.
Les systèmes industriels sont typiquement d’une grande simplicité en comparaison du fonctionnement humain. De plus, un tel système a peu de chance d’être reconnu comme conscient ou sensible par les humains. C’est la proximité avec le fonctionnement humain qui fait qu’on reconnait une sensibilité ou une conscience, comme tu le fais bien remarquer à propos des annimaux.
#29
Nous sommes des animaux… il est donc facile de tirer un parallèle et d’observer les comportements.
Pour les I.A., c’est plus difficile de décider car on a pas de point de référence et qu’on a souvent une approche très superficielle…
Oui, mais une grande compétence rédactionnelle ne veut pas dire qu’il y a quelque-chose derrière.
LaMDA est un système orienté dialogue, il a été entrainé à dialoguer et se construire un modèle prédictif lui permettant de “deviner” la suite de la conversation pour répondre, et avec la quantité d’entrainement effectué et la richesse des contenus injectés, l’I.A. est devenue très forte pour prédire ce qui serait une réponse crédible.
Ce n’est pas une I.A. “vivante, c’est juste un très bon modèle avec un excellent apprentissage.
Les humains +sont+ des animaux… on peut donc déduire que les animaux moins intelligents que nous partagent tout de même une base commune, et de nombreuses expériences prouvent la présence d’un intellect et de sentiments, même parfois en l’absence totale de contact avec l’humain.
Les I.A. sont très différentes, elles sont conçues bien souvent pour faire écho à des capacités propres à notre espèce, et le langage est évidemment une de compétences qui nous caractérise le plus, et que du coup nous traitons avec la plus haute urgence.
On se focalise à reproduire les effets de notre nature tout en évitant de traiter les causes de notre nature car nous sommes pragmatiques et orientés résultat.
Mais il ne faut pas se leurrer, tant que nous n’aurons pas travaillé sur les fondations de notre intelligence, de notre conscience et de nos sentiments, nous ne pouvons que rester à la surface du problème en créant des systèmes très compétents pour imiter, mais complètement vides de tout potentiel “humain”.
Personnellement, je pense qu’une vrai intelligence artificielle ‘vivante’, pourrait tout à fait émerger dans des systèmes ne nécessitant pas le langage, mais nécessitant des interactions physiques continues avec l’environnement. Un système pilotant des robots genre Boston Dynamics pour de l’inspection préventive, par exemple, pourrait évoluer en complexité à un point où une forme d’intelligence “animale” pourrait émerger de manière minimaliste et contrôlée.