Petite histoire du CAPTCHA : création, évolutions et dérives
Même pas un vrai test de Turing
Le 04 septembre 2023 à 12h52
14 min
Logiciel
Logiciel
Le CAPTCHA est un élément courant de la navigation sur le web, surtout des formulaires d’inscription. Ce mécanisme de sécurité est né il y a une vingtaine d’années et a eu le temps d’agacer plus d’une personne. Voici son histoire.
CAPTCHA signifie « Completely Automated Public Turing test to tell Computers and Humans Apart », soit en français « test de Turing totalement automatisé et public pour distinguer les ordinateurs des humains ». L’acronyme est le plus souvent utilisé pour décrire la petite énigme à résoudre, mais le terme désigne plus que cela : c’est toute la chaine de récupération et de la transmission de l’information.
L’idée d’un tel test est née à la fin des années 90 avec le besoin de pouvoir séparer rapidement les êtres humains des machines, pour contrôler certains accès, notamment les inscriptions à des services en ligne. Les premières réalisations se font au début des années 2000 à l’université Carnegie-Mellon. Le terme même de CAPTCHA est une marque déposée lui appartenant et n’est donc pas un simple acronyme. Et ce, même si AltaVista avait fait quelques essais dans le domaine, mais sans véritablement les pousser sous une forme exploitable.
C’est donc à Carnegie-Mellon que l’on doit la concrétisation de ce test, plus précisément à quatre personnes : Luis von Ahn, Manuel Blum et Nicholas J. Hopper, aidés par l’ingénieur John Langford d’IBM.
Ce test devait présenter dès le départ deux caractéristiques essentielles et liées : être à la fois très simple pour l’être humain et complexe pour la machine. Tout était ainsi question de cognition et de reconnaissance automatisée des caractères. Du moins au début.
Le CAPTCHA en pratique
Tout le monde a déjà croisé la route de ces tests automatisés. Derrière cette apparente simplicité se cache un processus complexe regroupant aussi bien la génération de l’énigme que le mécanisme de validation de la réponse, en passant par le protocole de transmission.
Les énigmes proposées ont évolué avec le temps. Il ne s’agissait au départ que de très simples opérations mathématiques comme « 3 + 5 = ? ». Puis les séquences de caractères sont arrivées, d’abord peu déformés, puis des altérations de plus en plus prononcées sont apparues, au point parfois de poser autant de problèmes aux êtres humains qu’aux systèmes de reconnaissance. Les opérations mathématiques sont elles aussi apparues rapidement, là encore sous une forme simple, puis avec certaines déformations, dans l’idée de jouer sur les deux tableaux cognitifs.
Outre l’idée générale d’empêcher l’inscription automatisée à des sites et services, l’un des points forts du CAPTCHA est qu’il s’exécute localement, donc sur l’appareil de l’utilisateur. Ce qui signifie que la résolution du problème n’interroge pas le serveur : la réponse est déjà comparée sur place, et c’est seulement en cas de réponse correcte qu’un signal est envoyé. Un processus destiné à empêcher que des bots bombardent des serveurs de requêtes, ce qui aurait raboté l’intérêt du CAPTCHA.
Cette exécution locale permet en pratique de bloquer de nombreuses tentatives. Les webmails comme Gmail et Outlook s’en servent bien sûr pour éviter les créations de comptes à la chaine. On peut généraliser ce besoin de barrière à l’ensemble des services devant bloquer un accès automatisé, pour bloquer – tout du moins en théorie – les participations à des sondages, des téléchargements massifs, la publication de messages, etc. C’est un problème que l’on retrouve par exemple de manière très présente sur Twitter/X, sur lequel de nombreux bots sévissent.
Des chats, des souris, des dérives
Comme tout mécanisme de sécurité, le CAPTCHA est plongé dans un jeu permanent du chat et de la souris. La situation est comparable aux antivirus : les technologies et méthodes évoluant sans cesse, la contre-mesure doit s’adapter.
Les premières versions étaient simples, mais puisque la reconnaissance des caractères progressait, il a bien fallu rendre les choses progressivement plus complexes. Déformer légèrement le texte n’était plus suffisant et, avec le temps, d’autres altérations sont apparues, notamment le flou, le texte barré ou avec différents artefacts censés toujours permettre une identification « simple » par l’œil et le cerveau humains, tout en rendant très complexe la reconnaissance automatique.
Seulement voilà, la situation est doublement complexe. D’une part, les personnes ne sont pas toutes égales devant de tels mécanismes. Rapidement, des voix se sont élevées pour signaler de vrais problèmes d’accessibilité, notamment pour toutes les personnes malvoyantes, pour lesquels ces CAPTCHA étaient autant de barrières. C’est ainsi que l’on a vu arriver progressivement des fonctions permettant de dicter le texte à l’oral, quand cela est possible. Ces fonctions accompagnent les CAPTCHA et sont nécessairement développées par les sociétés concernées, les lecteurs d’écrans classiques ne pouvant pas lire le texte (le but d’un CAPTCHA étant de ne pas être lisible automatiquement, justement).
En dépit de quelques améliorations en matière d’accessibilité, le CAPTCHA est par essence excluant, dès lors que des déficiences visuelles et auditives sont en jeu. Le problème est accentué par les tests utilisant des images. Sans aide extérieure, les personnes concernées ne peuvent tout simplement pas s’inscrire d’elles-mêmes sur les services utilisant ce type de protection. En 2005, le W3C consacrait déjà une publication à cette problématique.
D’autre part, la complexité croissante des CAPTCHA a fini par poser problème aux internautes sans ces déficiences, tout en n’empêchant pas les technologies de reconnaissance de progresser suffisamment pour arriver à percer leurs mystères. C’est particulièrement vrai depuis que cette reconnaissance a été dopée au machine learning, comme le relatait en 2017 The Independant, qui pointait alors que certaines IA étaient capables de passer à travers les CAPTCHA sans avoir besoin d’un grand entrainement.
La société Vicarious avait ainsi bâti un modèle – nommé Recursive Cortical Network (RCN) – capable de reconnaître l’écriture dans 66,6 % des cas pour reCAPTCHA, 64,4 % pour BotDetect, 57,4 % pour Yahoo, 57,1 % pour PayPal, etc. La société indiquait même alors que ces chiffres pouvaient grimper à 90 % avec un peu plus d’entrainement.
En parallèle, la situation évoluait cependant. À la même époque, une part grandissante des CAPTCHA de Google ne faisaient déjà plus appel à la reconnaissance visuelle ou auditive : il s’agissait d’une simple case à cocher. Le système ne tablait plus sur les opérations cognitives mais s’alimentait à d’autres signaux provoqués par le comportement de l’internaute sur la page.
Google n’a jamais vraiment expliqué sa technologie. Tout juste savait-on que certains éléments étaient pris en compte, comme les mouvements de la souris, les cookies et paramètres du navigateur, etc. La case à cocher s’est amplement répandue depuis et constitue l’essentiel de l’expérience CAPTCHA aujourd’hui. Parfois, elle n’est pas suffisante, et l’internaute voit alors surgir une image découpée dans laquelle il faut reconnaître des objets.
Notez que Google n’est pas seul dans le domaine des CAPTCHA « avancés ». La concurrence s’est étoffée, avec par exemple hCaptcha, qui propose le même type de service tout en se voulant plus respectueux de la vie privée. hCaptcha s’appuie sur la case à cocher, qui vient valider les actions déjà effectuées sur la ou les pages par le visiteur, le cadre posant également une question très simple, du type « Votre légume préféré ». Il n’y a pas de mauvaise réponse bien sûr, la question n’est là que pour collecter une interaction active.
Les CAPTCHA invisibles et la tentation de Google
En 2017, Google est même passée à la vitesse supérieure : un CAPTCHA automatique, sans case à cocher, sans puzzle à résoudre et se basant uniquement sur les signaux émis par la personne sur la page en question, donc ses manipulations. Un CAPTCHA invisible, en somme.
Même encore aujourd’hui, on ne voit pas toujours ce CAPTCHA invisible, dont le fonctionnement technique n’est pas davantage précisé. On retrouve donc parfois la case à cocher ou même la fameuse image découpée, probablement quand le système automatique ne possède pas un historique de signaux assez important. La vidéo de présentation indiquait que le mécanisme devait être largement déployé au sein d’un site, pour améliorer la surveillance de l’internaute et lui attribuer une note de confiance, allant de 0 à 1.
Idéalement, Google aimerait parvenir à un système universel et invisible pouvant témoigner de la chaine d’authenticité d’une action humaine à travers un navigateur non modifié. On a pu voir récemment qu’un petit groupe d’ingénieurs travaillait sur une technologie baptisée Web Environment Integrity qui, si elle n’est pas directement liée aux CAPTCHA, pourrait les accompagner.
- Web Environment Integrity : chez Google, l'ombre d'un DRM pour le web
- Web Environment Integrity : défiance généralisée contre le « DRM du web »
Rappelons que WEI fonctionne sur le modèle de l’API Play Integrity sur Android. Cette dernière est chargée de témoigner à qui veut bien l’entendre qu’une application n’a pas été modifiée. Les éditeurs d’applications ont le choix de l’activer et certains l’ont fait, notamment les banques, Netflix et la plupart des studios derrière les jeux en ligne.
La notion d’authenticité est au cœur du projet, dont on ne sait pas encore si Google a réellement l’intention de le déployer. En cela, WEI rejoint le CAPTCHA entièrement automatique de Google. L’un et l’autre pourraient s’associer – voire se compléter – pour établir une chaine de « confiance » pour le service auquel on demande l’accès. WEI pourrait ainsi renforcer la sécurité du CAPTCHA en apportant une garantie supplémentaire qu’une personne physique est bien en train d’ouvrir une page.
Seulement, comme on l’a vu, la technologie pourrait être aisément détournée pour d’autres ambitions plus vastes. Le risque le plus manifeste serait que Google détermine qui pourrait accéder à ses services, très largement utilisés, à travers des conditions à respecter. Certaines extensions, déjà menacées par le Manifest v3, pourraient ne plus avoir leur mot à dire.
Les CAPTCHA détournés pour nourrir les IA
Vous ne le savez peut-être pas, mais les CAPTCHA ont pendant un temps été sous le feu de critiques nourries, pour autre chose que leur degré croissant de complexité. Certaines personnes ont accusé des entreprises, Google en tête, d’utiliser les réponses données par les internautes pour améliorer les résultats de certains modèles de reconnaissance.
Google a été accusée de ce stratagème à plusieurs reprises, dont deux principalement. D’abord en 2009, quand Google rachète reCAPTCHA, un mécanisme beaucoup plus avancé que ce que la firme proposait jusqu’alors.
Largement popularisé dans les années qui suivent, la fenêtre de vérification affichait deux mots barrés et dont la géométrie était légèrement altérée (le plus souvent sous forme d’une ondulation). Des altérations suffisantes pour tromper les solutions de reconnaissance d’écriture, mais beaucoup plus simple pour un être humain.
Or, sur les deux mots, seul le premier servait vraiment à valider le CAPTCHA. L’autre était utilisé pour alimenter le service Google Books, alors en pleine numérisation de l’intégralité des articles du New York Times. Comment ? En fournissant une aide directe sur la reconnaissance des mots issus de livres en cours de numérisation, car même si un modèle est capable de reconnaitre la plupart des mots, la validation humaine reste déterminante. Et si le processus passe à une échelle quasi industrielle en faisant valider des mots par des millions de personnes (200 millions par jour en 2006), l’aide devient particulièrement précise. Particulièrement quand on peut pousser en avant les mots mal scannés ou non reconnus.
C’était d’ailleurs le sens de la plainte qui avait alors été déposée contre Google par Gabriela Rojas-Lozano. Elle avait tenté en 2015 de déclencher un recours collectif (class action) contre la firme, en mettant en avant le fait qu’elle employait une main-d’œuvre sans la payer, par des moyens détournés. Le 3 février 2016 cependant, la justice américaine a rejeté la plainte par manque de preuves, Google ne s’étant par ailleurs pas cachée de ses intentions.
Le même processus avait été appliqué à Street View, grâce – vous l’aurez deviné – à la fameuse petite grille d’images que Google propose parfois, quand la case à cocher n’est pas suffisante pour une raison ou une autre. Dans ces images, il est demandé à l’internaute de reconnaitre un objet particulier dans une photo coupée en neuf ou seize parties. Par exemple, les feux de signalisation, les passages cloutés, un certain type de véhicule, un animal etc. Chaque fois que l’on répond à ce type de CAPTCHA, il s’agit d’une validation humaine sur des objets présélectionnés comme étant les bons par une IA de reconnaissance d’image.
Une simple protection supplémentaire
Aujourd’hui, les CAPTCHA restent très utilisés, mais ne représentent pas l’alpha et l’oméga de la protection d’un accès. Ils ont leur efficacité et peuvent effectivement bloquer une partie plus ou moins importante des requêtes des bots, mais les résultats sont variables et aucune entreprise n’est transparente sur ce point. Google, par exemple, indique simplement bloquer des accès aux bots des dizaines de millions de fois par jour sur les formulaires.
On sait en revanche que les CAPTCHA peuvent être contournés et détournés. Déjà, pendant les premières années à l’université de Carnegie-Mellon, un petit groupe avait été créé pour tenter de casser systématiquement les CAPTCHA créés. Un des moyens utilisés était de détourner le CAPTCHA du site qu’il était censé protéger pour le placarder sur un site pornographique. Les visiteurs de ce dernier résolvaient ainsi, sans le savoir, un CAPTCHA destiné à un autre accès.
La résolution des CAPTCHA est même devenue avec le temps une industrie à part entière. En 2008, ZDNet relatait par exemple déjà comment tout un pan d’activité s’était créé en Inde dans ce but : des hordes d’employés étaient rémunérés – une misère – pour résoudre des CAPTCHA toute la journée. Dans ce type de cas, peu de protections peuvent fonctionner, même si les évolutions techniques, notamment chez Google, ont en partie résolu ce problème, la constitution d’une vaste base de données pour les réponses ne pouvant plus être utilisée pour contrecarrer la collecte de signaux. Mais même ce modèle de résolution humaine ne tient plus face à l'évolution de l'IA et des bots, comme nous le relations il y a quelques semaines : les humains sont désormais plus lents.
Enfin, faisons une petite digression sur le terme CAPTCHA lui-même. Un test de Turing consiste théoriquement à vérifier la capacité d’une machine à se faire passer pour un être humain : lors d’un test à l’aveugle, si une personne n’est pas capable de dire si les réponses reçues sont celles d’une autre personne ou d’une machine, celle-ci a passé le test. De son côté, le CAPTCHA demande à un être humain de prouver qu’il est ce qu’il prétend être. Il ne s’agit donc pas d’un test de Turing, en dépit du nom qui lui a été donné.
Petite histoire du CAPTCHA : création, évolutions et dérives
-
Le CAPTCHA en pratique
-
Des chats, des souris, des dérives
-
Les CAPTCHA invisibles et la tentation de Google
-
Les CAPTCHA détournés pour nourrir les IA
-
Une simple protection supplémentaire
Commentaires (37)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 04/09/2023 à 13h09
Article très intéressant, merci
Le 04/09/2023 à 13h22
C’est quand même une sacrée entorse au respect de la vie privée que de demander notre légume préféré
Le 04/09/2023 à 13h31
Il faut faire quoi pour que reCAPTCHA propose la case à cocher et non des images (parfois illisibles) ?
Le 04/09/2023 à 15h00
Vraiment intéressant. Merci pour l’article !
Le 04/09/2023 à 15h12
Le 04/09/2023 à 15h19
J’échoue 3 fois sur 5
Surtout sur celui de Google, où les images disparaissent lentement.
Suis-je idiot / un bot ?
Le 04/09/2023 à 15h56
Tout pareil, j’ai du mal.
Ca me fait souvent penser à l’épisode de Futurama où Philipe (😁) se fait interner dans un asile pour robots aliénés, et n’arrive pas à prouver au robot médecin qu’il est un humain.
Quand le système en face de toi est 100% automatisé, sans solution de replis humaine, il y a toujours ce risque. On peut en rire, mais ça peut être vu comme une forme de discrimination. Je n’evoquerai même pas le cas de certains handicapés. Ça ne doit pas être la joie.
Le 04/09/2023 à 15h20
Dans le langage courant et en cuisine, le légume sort du potager, le fruit du verger.
Parce qu’à ce compte là, non seulement la tomate et l’aubergine, mais aussi la courgette, les poivrons, les courges, et même les haricots verts sont des fruits.
Sauf dans le cadre de la botanique, l’aubergine est bien un légume.
Le 04/09/2023 à 15h21
CAPTCHA ?
tu sais…le truc pour bien énerver l’internaute, et qui ne fonctionne
QU’A la 3 fois* !
et encore je suis sympa.
Le 04/09/2023 à 15h22
Du coup on a déjà eu presque autant ici.
Le 04/09/2023 à 15h26
Un peu comme les ports USB A ?
Le 04/09/2023 à 16h23
Bon article, très intéressant, merci beaucoup
Le 04/09/2023 à 16h32
L’idée du test de Türing original était qu’on arrive à ce qu’on ne puisse pas distinguer une machine d’un humain (et à ma connaissance, aucune machine n’a réussi le test, et vu comment il est facile de tromper un chatGPT et autres qui ne se cachent même pas d’être des machines…).
Le 05/09/2023 à 08h36
oui, en effet, le ‘CAPTCHA’ est tellement efficace, QUE MÊME
un (vrai) humain n’y-arrive pas du 1er coup !
Le 04/09/2023 à 16h44
Super article merci, je ne connaissais par exemple pas la class action contre Google mais ça semblait assez évidant effectivement qu’Alphabet ne manque une occasion d’ « améliorer » son service…
Le 04/09/2023 à 17h26
Bah heu… si.
Comme son nom l’indique, c’est un de test de Turing qui est complètement automatisé
=> un test de Turing qui est conduit par un automate au lieu d’être conduit par un humain
On ne demande pas à la machine de deviner: on lui demande de conduire le test.
Le test a été conçu par un humain (=type de question et critère d’acceptation)
Le 04/09/2023 à 21h48
C’est sans doute dommage que cet article ne parle de toute la recherche de Cloudflare en la matière, notamment leur article “Humanity wastes about 500 years per day on CAPTCHAs. It’s time to end this madness” qui parle d’attestation par yubikey ou en utilisant les fonctionnalités d’authentification intégrées à ios par exemple (via le trousseau, etc). Voir exemple de “captcha” (attestation) sur https://cloudflarechallenge.com/
Et du fait que tous les captcha actuels sont tous facilement contournable (même les derniers invisible de google) avec des sites comme anti-captcha, qui pose donc la question de l’utilitée des captchas : les bots sauront les contourner, les humains se les mangent… et les services de captchas ne bloquent pas ce genre de contournement car ce sont en fait des humains derrière qui les résolvent, et donc effectivement ça nourrie leurs IA… On vit dans une saucisse
Le 05/09/2023 à 05h34
Merci pour cet article très intéressant
Le 06/09/2023 à 08h10
Super intéressant ! Merci ☺️
Le 07/09/2023 à 10h52
Les images proposées sont - encore aujourd’hui - souvent pixelisées, mal foutues, illisibles, bref, de la merde !
Tant qu’à parler de test, pourquoi ne pas proposer des questions aléatoires générées par une AI, qui trouverait là - enfin ! - sa vraie utilité…? Et en caractères lisibles SVP, merci !
Le 07/09/2023 à 11h50
C’est déjà le cas, je suis tombé dessus récemment, on te demande de reconnaître un animal sur des images générées par IA.
Mais les images ressemblent plus à un gloubi-boulga de couleurs qu’à autre chose…
Le 07/09/2023 à 12h02
(Là j’aurais tendance à ajouter : Plutôt crever !)
Juste des questions en texte pur, générées par IA, et basées sur les notions de Turing… sauf que le système serait imprévisible, parce que l’IA à chaque fois “improviserait” une question basée sur un aspect ou un autre des théories de Turing (et ses successeurs) afin de faire la différence entre robots et humains.
Et c’est justement parce que toutes ces minuscules images de google sont de qualité dégueulasse que je souhaiterais qu’elles disparaissent à jamais.
Le 07/09/2023 à 12h22
Parce que tu crois que l’IA est meilleure avec du texte ?
Quand on voit les hallucinations qu’elle fait, je ne pense pas que ça soit mieux…
Le 07/09/2023 à 13h24
Je doute que ce soit efficace, c’est justement le fonctionnement d’Auto-GPT.
Quant aux images pixellisées, c’est justement fait exprès. Le bruit numérique rend la lecture par l’IA difficile… Et l’humain aussi d’ailleurs.
Le 07/09/2023 à 14h39
Alors ça veut dire quoi, que google veut éjecter les vieux d’internet ? Parce que ça va finir comme ça : plus j’avance en âge, moins je vais pouvoir résoudre ces saloperies, ce qui me condamne à plus ou moins moyen terme à ne plus utiliser de service internet, du tout !
Le 07/09/2023 à 14h53
Ben je le subis tout autant, et je trouve ces CAPTCHA tout simplement abominables. Je ne faisais qu’expliquer la raison du bruit numérique sur les images.
Le 07/09/2023 à 15h02
Le fait d’utiliser des images est selon moi une nette régression par rapport à la théorie originale.
Les AI à l’heure actuelle sont tout à fait capable d’élaborer des questions avec des variations infinies, basées sur des règles scientifiques simples qui leur permettraient justement d’improviser ces mêmes variations.
Le 07/09/2023 à 15h59
Justement, de mon point de vue non, avec un LLM comme GPT établir une question / réponse ne permettrait pas de bloquer une machine. J’ai cité Auto-GPT car c’est exactement ce qu’il fait. Il s’agit d’une implémentation de GPT qui a pour but de résoudre un problème en utilisant d’autres LLM. De ce fait, Auto-GPT génère des prompts et des challenges pour les autres outils jusqu’à ce qu’il considère le problème comme résolu et sans intervention de prompt humain.
En résumé : Auto-GPT est un modèle GPT qui utilise d’autres LLM pour travailler.
De plus, il faut éviter que la question soit impossible à répondre pour un humain lambda. Des tests de robots purement textuel, il en existe qui sont très simple : résoudre une opération mathématique basique (genre 4 + ? = 6, 7 + 3 = ?, etc). Sauf que de nos jours, les modèles de language savent résoudre ces problèmes.
Pour l’exemple de complexité, j’ai demandé à ChatGPT de générer une question de culture générale aléatoire.
Bah perso à chaud je sais pas que c’est Van Gogh. Et si pour rentrer sur un site faut aller se taper une recherche sur Wikipedia, merci mais non merci. Là où le LLM n’aura aucun mal à répondre.
Ou alors j’ai mal compris là où tu veux en venir.
Pour reprendre un meme sur les CAPTCHA : une demande avec plusieurs partitions de musiques extrêmement fournies disant de sélectionner celle qui provoque telle émotion.
Le 07/09/2023 à 18h14
Un animal se tient immobile, comme paralysé, au milieu d’une route. Que fais-tu ?
Je tire sur (ou à côté de) l’animal avec une arme, ou j’essaie de l’atteindre avec un objet contondant, tel une pierre, ou tout autre objet pouvant faire office d’arme et obliger l’animal à fuir.
Je klaxonne (ou je demande aux conducteurs de véhicules présents de le faire), d’une manière générale j’essaie de produire un maximum de bruit avec les objets présents autour de moi dans le but faire réagir l’animal, afin qu’il libère la voie.
J’essaie de créer un contact amical / affectif avec l’animal afin de l’amener à me suivre et donc à libérer la voie.
J’appelle immédiatement les services concernés (Pompiers, Municipalité, Gendarmerie, etc.) et leur décrit la situation.
Je ne suis pas un scientifique, donc forcément mon énoncé n’est pas aussi rigoureux ni aussi précis / imprécis qu’une question élaborée par un psy / neurologue mais l’essentiel est là :
Tu décris une situation, et tu demandes : que feriez-vous ? suivant la réponse, et si ta question est habilement tournée et les réponses assez proches les unes des autres, tu peux déterminer assez rapidement (en un seul essai, si ton script suit scrupuleusement les règles) si l’entité qui te réponds est un être humain ou une machine.
Tu peux aussi demander de classer les réponses de probables à improbables, de préférées à détestées, etc…..
Le 07/09/2023 à 19h01
Ce test peut-il être facilement résolu par un attardé dans mon genre ?
Je dis ça car ça me fait déjà bien suer de cliquer sur des toilettes pour chiens ou moyens de locomotion de donneurs d’organe sur des images. Répondre à des questions pièges digne d’une certification de Cloud Provider à rallonge risque d’être un sacré blocage pour tout le monde.
Après, en début d’année il y avait eu une petite frénésie sur le fait que GPT-4 aurait passé le test de Turing, même chose récemment pour le modèle de Google. Mais trop d’infos contradictoires pour distinguer le vrai du bullshit dans cette histoire (GPT-5 serait prévu en fin d’année et plus proche de l’Artificial General Intelligence que le sont GPT-3 et 4 qui sont considérés comme “narrow AI”).
Donc au vu de la progression des LLM, j’ai des doutes que de l’analyse de texte soit une bonne barrière vu que ces modèles excellent de plus en plus dans le domaine. Et rendre trop compliqué la question exclurait une partie de la population.
Le 07/09/2023 à 19h12
Les autres sont soit totalement accessoires (bien évidemment que s’il y a un animal au milieu de la route, les automobilistes vont spontanément klaxonner pour essayer de le faire fuir), soit un peu douteuses (tel que utiliser une arme… Note que la question ne précise pas si tu es en état de légitime défense, genre l’animal t’agresse ou tente de te dévorer, ni même si tu es directement concerné par la situation - tu ne pourrais être qu’un simple témoin après tout.)
Je ne pense pas qu’il faille être bac+10 pour répondre à une simple question de type “que feriez vous ?”. C’est vraiment très simple, il suffit d’imaginer la situation.
Le 07/09/2023 à 20h39
C’est là où je ne suis pas vraiment d’accord car c’est très subjectif et propre à l’intellect de chacun.
Et dans tous les cas, je le redis : un LLM va réussir.
Premier test avec ChatGPT en listant simplement les possibilités, il a analysé chaque réponse.
Version moins verbeuse : donne moi le meilleur choix.
Le 08/09/2023 à 01h46
La question-exemple plus haut est donc une question d’amateur ignorant qui n’a malheureusement pas eu la chance de faire d’études au-delà du CAP, et qui donc n’a pas la culture scientifique nécessaire pour élaborer un tel questionnaire.
Mais je peux t’assurer, du moins j’en ai la conviction, qu’un vrai test de Turing sans aucune image, à base de questions finement ajustées par des spécialistes, saurait à coup sûr faire la différence entre humains et machines, aussi sophistiquées soit-elles.
Et ce, sans faire appel à des notions culturelles où à des connaissances particulières. Ah oui, j’allais oublier : l’analyse du temps de réponse / des hésitations / des mouvements de la souris peuvent être en soi de précieuses données préliminaires, qui vont conforter l’analyse des réponses.
Le 08/09/2023 à 06h39
C’est déjà ce qui est fait pour le mode “clic sur une case à cocher”.
Pour ma part, dans la mesure où ces dispositifs ont ironiquement servi à entraîner de l’IA, il ne m’étonne pas de voir celle-ci savoir les déjouer de nos jours. Et vu sa progression, je pense qu’il va être difficile de trouver un bon équilibre dans le domaine.
Le 08/09/2023 à 12h29
Note : voici un exemple concret de test inspiré par Turing. Avec des questions très simples, les images dans ce cas ne servent à rien.
Toutes ces questions pourraient en fait être réduites à une seule et unique QCM. Variante : une question où tu indiques un ordre de préférence parmi les solutions proposées.
Mais dans mon idée, il y aurait randomisation parmi une très grande quantité de questions disponibles dans une BD, avec un gros paquet de variantes possibles de la même question.
Le 09/09/2023 à 10h27
Avec ChatGPT :
Le 09/09/2023 à 13h21
Mais comme dit plus haut, je ne suis pas un scientifique, juste un ignorant. J’ai pris le premier lien qui m’est tombé sous la main, mais je suis sûr qu’il doit exister quelque part de vrais tests avec un bon pourcentage de réussite.
Il faudrait creuser la question avec un vrai spécialiste, qui saurait nous dire si des QCM simples, mais finement élaborées par des scientifiques, pourraient déjouer les AI actuelles ?