La récente popularité du robot conversationnel ChatGPT n'a pas manqué d'atteindre les étudiants. Elle risque de chambouler la façon d'enseigner et de contrôler les connaissances des étudiants.
Si les créateurs de ChatGPT, OpenAI et son PDG Sam Altman, ont admis dès sa sortie que cette IA conversationnelle pouvait faire des erreurs et sortir des réponses farfelues, les étudiants, eux, ont bien compris que ChatGPT avait les capacités de répondre à beaucoup de questions posées par leurs enseignants tout en tenant très bien l'illusion d'un discours construit et pensé et qu'ils n'avaient pas forcément besoin, pour valider un cours, de rendre un devoir parfait. Et même si le chatbot est l'occasion de raviver les débats sur les compétences de l'intelligence artificielle, il est bel et bien là.
Alors que nous sommes encore en pleine période d'examens universitaires, des enseignants ont déjà détecté l'usage de l'outil par des étudiants à l'occasion de devoirs maison. Qu'ils veuillent l'interdire, l'encadrer ou l'intégrer, l'usage de ChatGPT va changer la façon dont les profs enseignent et contrôlent les examens rendus par documents numériques.
Si l'outil a d'ailleurs beaucoup fait parler de lui sur les réseaux sociaux et, la plupart du temps, pour s'amuser ou pour faire des exercices de créativité, c'est dans le domaine de l'éducation qu'il a attiré le plus de craintes et de critiques, selon des chercheurs de l'université d'Adelaide en Australie, qui ont mis en ligne un article [PDF](non relu par leurs pairs) étudiant les sentiments des « early adopters » à propos de ChatGPT. Si certains imaginent que ChatGPT peut apporter des nouvelles façons d'enseigner, d'autres s'inquiètent de la manière dont son utilisation pourrait entraver le processus d'apprentissage des étudiants.
Curiosité des enseignants
ChatGPT a, c'est certain, attiré la curiosité de nombreux enseignants. Beaucoup ont essayé de tester les capacités du robot conversationnel sur leur discipline, pour répondre à des questions plus ou moins fondamentales et déceler les défauts des textes rendus.
L'enseignant Elie Allouche, qui est aussi chef de projet innovation numérique et recherche au ministère de l'Éducation Nationale, a publié un billet analysant une conversation avec ChatGPT sur lui-même, une sorte de mise en abyme, pour l'analyser ensuite.
Stéphane Crozat, lui, a essayé de bâtir un examen autour de l'outil. L'enseignant-chercheur en informatique à l'UTC de Compiègne donne justement un cours intitulé « Écrire sur le web » pour un niveau de début d'études supérieures. Quoi de mieux, comme examen, que de faire analyser à ses étudiants les réponses de ChatGPT sur des sujets comme « comment fonctionne internet », des éléments historiques comme la naissance du web et éthico-politique comme le capitalisme de surveillance ? Problème. « Les premiers résultats obtenus étaient beaucoup trop bons pour ça et, s'il y avait des choses à redire, ça épuisait quasiment ce que j'attendais de mes étudiants », nous explique-t-il.
Finalement, l'examen donné fut beaucoup plus classique avec, en plus, interdiction explicite d'utiliser ChatGPT. Mais l'enseignant n'a pas abandonné son expérience, il l'a juste modifiée en posant les diverses questions de son examen au chatbot. Résultat, après première lecture des réponses de ChatGPT, « à l'œil, on est sur du 15/20 », s'étonne-t-il, dans le haut des résultats de ses étudiants. « L'essentiel de ce qui manque, ce sont les sources », ajoute l'universitaire.
Et quand ils demandent des sources à chatGPT, Elie Allouche et Stéphane Crozat constatent tous deux que le chatbot peut parfois donner des sources pertinentes, mais qu'il est aussi capable d'en inventer, hallucinant les justifications des textes qu'il produit.
Questionnements sur l'évaluation et la motivation
Si le robot a des limites qu'il ne pourra peut-être pas dépasser, certains se posent des questions sur l'avenir de l'exercice de la dissertation comme outil d'évaluation. Interrogé par la revue scientifique Nature en décembre dernier, Lilian Edwards, un étudiant en droit et innovation, lâchait : « Je pense que l'évaluation des dissertations est morte, vraiment. ».
Dirk Weissmann, professeur d'étude germanique à l'Université Toulouse Jean-Jaurès, s'appuie sur l'exemple de DeepL dans l'enseignement et l'évaluation de la traduction pour exprimer ses craintes.
« Je perçois là quelque chose qui met en cause tous les rituels scolaires de l'acquisition des savoirs. En langue, on a un précédent concret qui est Deepl. Cet outil peut nous amener à ne plus motiver des jeunes à apprendre des langues étrangères et à traduire de manière traditionnelle », explique l'enseignant.
Cette crainte n'est pas celle d'une peur de la technique. Le professeur explique qu'il se sert lui-même de DeepL pour ses traductions brutes, mais qu'il utilise ses connaissances pour améliorer les résultats perfectibles de la machine. « Mais si nous n'arrivons plus à former des étudiants qui ont ces mêmes compétences, ça change tout », craint-il. Dirk Weissmann explique qu'avec DeePL, certains grands centres de traductologie discutent de réorganiser leur cursus face à cette évolution pour aller plus vers des cursus de post-editing, laissant faire la machine pour intervenir après.
De nouvelles épreuves à inventer
Pour Stéphane Crozat, « la question du contrôle n'est pas évidente. L'alternative est de réinterroger l'exercice qu'on leur demande et de faire en sorte que ce soit suffisamment élaboré. Mais certains étudiants ne sont pas forcément capables de ça... Je n'ai pas de réponse, mais on ne peut pas l'ignorer ».
L'universitaire se tourne vers le collectif pour essayer d'y répondre : « avec quelques collègues, nous nous sommes dits qu'il fallait qu'on se réunisse pour y réfléchir, tout en ne donnant pas de réponses à l'emporte-pièce ». Si les outils d'anti-plagiat et de détection d'utilisation sont évoqués, « c'est rentrer dans une course à l'armement », estime-t-il. Et il est difficile d'affirmer que les utilisateurs de chatGPT en seront les perdants.
Interrogé par Nature, le chercheur en informatique à l'université de Princeton, Arvind Narayanan, estime que même si c'est la fin des dissertations en tant qu'outil d'évaluation, ce n'est pas nécessairement une mauvaise chose. Pour lui, cet exercice permettait d'évaluer des compétences de rédaction et de connaissance qui doivent pouvoir être évaluées autrement et peut-être séparément.
En décembre, Antonio Casilli, enseignant-chercheur à Telecom Paris, proposait sur Twitter d'intégrer l'outil à l'enseignement, comme pour ce qui s'est passé avec Google, Wikipédia, Facebook et Zoom, qualifiant les réactions apeurées accompagnant ces nouveaux outils de « vagues de panique technologique ». Il propose de nouvelles épreuves de « cadavre exquis » ou de « prompt parfait ». Le prompt étant la ligne de commande, ici la question à poser à chatGPT, ce dernier exercice consisterait à formuler la question qui soit unique et donne lieu au résultat le plus original. Si le chatbot peut pousser les profs à réviser leur façon d'enseigner, il les met aussi dans une situation inconfortable où ils doivent la modifier rapidement, peut-être trop pour qu'ils aient le temps de bien adapter leurs cours et les épreuves de contrôle.
Commentaires (30)
#1
Voici un compte-rendu draft de l’expérience que j’ai menée ; j’y ajouterai le résultat de l’évaluation des étudiants et de ChatGPT et je l’améliorerai petit à petit. https://aswemay.fr/co/030070.html
#2
Passionnant, merci pour ce compte rendu !
#3
En lisant l’article j’en arrive à me demander ce qu’on fait les prof de mathématiques quand la calculette est devenue simple d’accès.
J’ai personnellement toujours préféré le savoir faire que le savoir. Je me doute que ce n’est pas possible dans tous les cursus, mais l’adaptation me semble nécessaire.
Encore une fois je sais que ce n’est pas la même chose, mais quand internet est arrivé les étudiants ont arrêté de chercher leurs sources en bibliothèque. Avec wikipedia il y a également eu de nouveaux outils pour les étudiants (même si le prof pouvait comparer avec l’article wikipedia justement).
Je me souviens qu’il y avait également des fiches de lecture disponibles pour les analyses de livre qu’on devait lire.
De plus, si chatgpt et d’autre outils font le travail aussi bien, c’est peut être aussi que les compétences des étudiants doivent changer.
Voir l’évolution des dactylos, des dessinateurs, des architectes, …
#4
C’est effectivement quelque chose qui va changer l’enseignement, c’est sûr. L’une des définitions même de l’IA en informatique, c’est un programme capable de faire ce qui nécessitait jusque là une “intelligence” que l’on jugeait inaccessible aux machine, et donc la présence d’un humain obligatoire était nécessaire pour cette tâche.
Donc forcément, l’IA va modifier le travail des humains et la question de l’enseignement, c’est donner les clé aux étudiants pour qu’ils soient capable d’apporter une valeur ajouté à ce qu’une machine est capable de faire.
Les moines copistes ont disparu au profit des imprimeurs car il fallait toujours des personnes pour opérer les machines, et le besoin “administratif/commercial” a aussi pris le dessus par rapport au temps dédié à l’activité de production.
#5
Ben rien de spécial… Continué à faire des maths…
#5.1
En n’autorisant en examen que les calculettes programmables pourvues d’un bouton pour effacer la mémoire.
#5.2
La réglementation sur les calculatrices programmables ne vient pas des profs de maths, mais du ministère (le mode examen est une usine à gaz compte-tenu de la variété des marques, et de la non-formation des surveillants).
Il est très simple de concevoir des devoirs ou examens où la calculatrice est totalement inutile, et de ce fait de l’interdire, mais c’est très mal vu par les élèves et les parents d’élèves.
Il m’est arrivé d’autoriser la calculatrice dans un devoir de raisonnement pur en classe de seconde, eh bien j’ai vu des élèves -les plus faibles, évidemment- sortir leur calculatrice…
#6
Pour la faire courte après avoir mouliné un peu le sujet tout ce résume en l’égalité des chance qui est sois technologique ( argent ) sois capacitaire ( humain ).
Reste à savoir si l’ont veut ce rapprocher le plus possible du domaine pro ou non.
Par exemple à l’école si tu avait un dossier à rendre certains profs interdisaient purement et simplement les imprimés, d’autre te mettaient une moins bonne note et d’autre te mettaient une meilleur note.
L’informatique dans le monde du travail est juste indispensable donc on devrait favoriser ce type d’outil, tout en essayant de garder un certain équilibre vis à vis de l’égalité.
Le problème c’est que notre système d’éducation à la pire inertie qui sois, bien souvent les gens qui ont choisis ce secteur c’est justement pour s’éloigner le plus possible du domaine pro et donc de l’évolution.
#7
Oui, après je vais quand même comprendre les enseignants et je suis d’accord sur l’article sur ce point
Le problème n’est pas l’évolution, mais l’évolution rapide
On m’a signalé que ChatGPT pouvait écrire des scripts dans n’importe quel langage (je n’ai pas vérifié).
Normalement je devrai prendre le temps d’évaluer ce que ça peut m’apporter, mais ça implique un changement que je n’apprécie pas. (et surtout … je fais quoi si j’apprends à me servir de l’IA et qu’elle disparait ?)
#7.1
Pour ce qui est de chatGPT, je dirais qu’il faut le prendre comme ce pote qui sais plein de truc qui va répondre à tes questions avec une solution “un truc dans le genre”. C’est à dire que la solution est souvent grandement correcte, pas forcement la meilleur, mais il peut y avoir des erreurs ou des approximation. Il faut le voir comme un guide qui te donne une idée de la solution.
#8
A noter que désormais les calculatrices doivent avoir un mode examen qui est un hard reset de la mémoire afin d’éviter de stocker des antisèches et/ou programmes qui font le café :)
#9
ChatGPT chamboule sans doute les devoirs à la maison, mais ça ne change rien aux examens où le PC et le portables sont déjà interdits.
#10
Ces scripts sont plus ou moins du copié / coller de tutoriaux basique trouvé sur le web. Je doute qu’il peut créer de long script imbriqués les un au autres pour former une cohérence. Et sur des sites comme git tu peut trouver des projets, assez aboutis.
Elle ne disparaitra pas et sera de mieux en mieux à chaque évolution, par contre ça risque de devenir payant. C’est pour ça que je parlais de l’égalité économique dans mon pavé plus haut.
L’ironie c’est qu’ensuite quand tu rentre dans le monde du travail tu ne fait qu’utiliser des anti sèche. Si tu dois réutilisé un bout de code pour un autre programme, tu va vraiment le faire de tête ? Non, tu copie colle un truc que tu à déjà fait et tu l’adapte.
#11
Sinon, on risque de n’avoir plus que des données générées par des IA qui s’auto-alimentent et partiront en vrille avec le temps…
Pour pouvoir adapter, il faut comprendre.
Et les anti-sèches (sur calculatrice en tout cas) sont rarement écrites par l’élève, qui ne comprend pas et ne fait que recopier bêtement.
#11.1
Dans l’apprentissage automatique, il existe une catégorie qui s’appelle l’apprentissage par renforcement. Cette apprentissage consiste à apprendre des ses actions afin de maximiser les réussites (la récompense). Elle ne nécessite pas d’exemple au préalable, car le programme les créer lui même.
#11.2
Le biais est pour moi le même que pour Spotify, si un morceau arrive en tête des morceaux les plus écoutés pour un style donné, il sera proposé comme morceau le plus adapté au style et viendra donc incrémenter la soit-disant pertinence de la suggestion….
En gros ce genre de solution manque de “chaos”
#11.3
Ce “chaos”, qui est en faite de l’exploration est quelque chose qui existe forcément dans un modèle d’apprentissage par renforcement lorsque celui là est en phase d’apprentissage. Le dilemme entre exploitation et exploration revient toujours dans cette catégorie d’apprentissage.
Après, lors que l’on exploite le programme, on va plutôt avoir tendance à privilégier la meilleurs solution, donc a limité l’exploration.
Pour le cas de Spotify, je ne pense pas que tu soit en face d’un modèle par renforcement en phase d’apprentissage. Il est même possible que le cœur qui prend les décisions soit un algo non paramétrique. Ce qui peut être paramétrique par contre, c’est la manière dont les musiques sont transformées en un vecteur de valeurs qui les décrivent (et potentiellement, les utilisateurs aussi).
#11.4
Je n’ai pas la pertinence pour qualifier les modèles d’algorithme mais le Chaos c’est au delà de l’exploration. Le chaos c’est quand toutes les bases de connaissances disponibles te disent que la terre est au centre de l’univers tu imagines que ça pourrait être la terre qui tourne autour du soleil.
Ou pour répondre l’exemple de Spotify, proposer du Yvette Horner à quelqu’un qui écoute AC/DC.
#11.6
C’est exactement ce qu’est l’exploration :un choix sous optimal selon les connaissances actuelles. La façon de faire peut être purement aléatoire mais il existe des manières plus intelligente de faire cherchant une solution avec un potentiel intéressant compte tenu de notre incertitude.
Du coup oui dans ce cas, l’algo va être capable de te proposer du Skrillex ou du Henry Dès.
Il est en effet nécessaire d’évaluer la récompense et c’est quelque chose reste difficile. Or alphaGo a montré que dans un jeu où il est presque impossible de la calculer précisément (difficulté d’évaluer la valeur d’un coup) ça a été possible d’apprendre à l’estimer avec suffisamment de précision pour dépasser le niveau d’un être humain.
Des logiciels plus généraliste vont aussi être capables d’évaluer cette récompense avec moins d’exemple et je pense que c’est ce qui se passe avec avec les travaux de deepmind sur les jeux Atari
#11.5
Des questions de cours, ça existe aussi pour les matières scientifiques.
Sinon, il y a aussi des programmes anti-sèches qui résolvent des problèmes.
Ça marche dans les cas simples où la récompense peut être calculée par l’IA elle-même (ou un autre ordinateur), mais sinon c’est l’humain qui doit intervenir pour valider ou non.
#12
Si dans une matière scientifique recopier bêtement une anti sèche te permet d’avoir une bonne note alors c’est que le prof fait mal son travail et que l’examen est tout pourris.
#13
Les enseignants apprécieraient beaucoup de ne pas être obligés de reposer sur ce genre d’examens pour avoir une moyenne de classe potable… Des sujets non “répondables” par une IA, tu vas avoir du mal à en trouver au collège et au lycée, le niveau est très basique et un exercice a un périmètre assez restreint pour être répondu par ChatGPT par exemple. (même s’il va probablement parfois raconter des conneries)
#14
Avant l’avènement de chatGPT les étudiants les plus fortuné/malhonnête/malin faisaient rédiger par quelqu’un d’autre ce genre de devoir, et c’était encore plus prégnant pour les thèses par exemple. chatGPT a juste rendu ça beaucoup plus accessible.
#15
J’y crois moyen (une IA ne peut pas rédiger une thèse, il faut d’abord en créer le contenu). Quant à ceux qui font rédiger par d’autres, j’ai envie de dire que c’est un non problème parce qu’ils sont suffisamment bien nés pour ne pas se soucier outre mesure de leurs études avant d’hériter d’une situation confortable.
#16
Mon commentaire à 2cents.
Je vois des commentaires qui prêtent à chatGPT des connaissances qu’il n’a pas.
chatGPT reste malheureusement basé sur des éléments de statistiques.
il intègre un moteur bien rodé d’analyse sémantique pour écrire ses phrases et c’est véritablement bluffant.
Il fait donc bien de la dialectique, avec des connaissances qu’il a tiré d’internet/wikipédia/articles scientifiques/…
Mais parler de choses ne garantit pas de les comprendre.
Il a constitué des connaissances générales, des tendances, sans être capable de parler précisément sur un sujet.
chatGPT le dit lui-même :
Q> “si tu ne peux pas fournir de sources spécifiques, comment peux-tu te baser dessus ? sans source, tes arguments ne tiennent pas.”
“Vous avez raison, je suis désolé pour la confusion précédente. Comme modèle de langage automatisé, je suis entraîné à comprendre et à répondre aux questions en utilisant les informations contenues dans mon corpus de données d’entraînement. Il se peut que les informations que j’ai fournies ne soient pas basées sur des sources spécifiques mais plutôt sur des tendances générales et des meilleures pratiques dans l’industrie qui ont été intégrées dans mon corpus de données d’entraînement. Il est important de vérifier l’exactitude des informations avec des sources fiables avant de prendre une décision ou une action importante.”
Q> “donc si la tendance générale est bonne, tu as bon. Et si la tendance générale est confuse, ta réponse ne sera pas pertinente ?”
R> “vide” il a buggé peut-être ^^
puis enfin
“En tant que modèle de langage automatisé, je suis entraîné à comprendre et à répondre aux questions en utilisant les informations contenues dans mon corpus de données d’entraînement. Si les informations dans mon corpus de données d’entraînement sont incomplètes ou imprécises, il se peut que ma réponse ne soit pas complète ou précise. Il est important de vérifier l’exactitude des informations avec des sources fiables avant de prendre une décision ou une action importante. Je suis un outil de traitement automatique de la langue, et les informations que je fournis ne doivent pas être utilisées comme source unique pour prendre une décision”
J’apprécie au moins le bon travail des devs dans l’entrainement de chatGPT qui remonte bien ce genre d’éléments.
Je vois un avenir fort dans le partenariat MS/Bing.
J’y vois aussi une possibilité sur la génération/recherche de documentation technique automatique beaucoup plus efficace.
Mais n’y voyez pas non plus une IA savante qui sait tout.
#17
Sauf qu’au lycée une calculatrice programmable / graphique ça sert a rien, hop problem solved.
#18
#19
« la question du contrôle n’est pas évidente. L’alternative est de réinterroger l’exercice qu’on leur demande et de faire en sorte que ce soit suffisamment élaboré. Mais certains étudiants ne sont pas forcément capables de ça… Je n’ai pas de réponse, mais on ne peut pas l’ignorer ».
Dans ce cas, on pourrait se demander de la pertinence d’une personne incapable d’apporter de la valeur ajouté à un automatisme.
Il faudrait ajouter un commentateur chatgpt à nextimpact avec comme prompt l’article + un truc comme “y’a-t-il quelques choses à ajouter en 50 mots ?”
#20
Ces modèles ne marchent simplement pas comme cela.
De longs codes, pas pour l’instant, mais imbriquer des concepts de manière cohérente, oui clairement il peut le faire.
ChatGPT n’est pas basé sur un moteur d’analyse sémantique. Les concepts sémantiques, dialectiques et les connaissances sont appris par le modèle lors de l’entraînement, comme pour les humains.
Il est bon en dialectique (meilleur que la plupart des humains) mais ne se limite pas à cela, il inclus une forme simple de compréhension de certains concepts humains.
Il est certainement important que les gens ne considèrent pas ChatGPT comme une forme de divinité, et n’y voient pas une conscience humaine.
Mais à l’heure actuelle la tendance de fond est plutôt de sous-estimer ces modèles sur la base de tout un tas de préconceptions et réflexes réactionnaires.
#21
ChatGfaitprout aux examens… et Akinator pour corriger.
On lance un dé de 20 pour embaucher plus tard sur un CV de BAC donné ? ^^