Les enseignants utilisant des IA pour noter leurs élèves et étudiants posent eux aussi problème

Des enseignants utilisent l'IA pour corriger les dissertations, relève CNN, qui note que cela soulève cela dit plusieurs questions éthiques.

Un rapport du cabinet de conseil en stratégie Tyton Partners, parrainé par la plateforme de détection de plagiat Turnitin censée aider les enseignants à identifier quand les devoirs sont rédigés par ChatGPT et d'autres IA, a en effet révélé que la moitié des étudiants utilisaient des outils d'IA à l'automne 2023. De plus, le pourcentage de professeurs utilisant, eux aussi, des IA était passé à 22 % dans le même temps, contre 9 % au printemps 2023.

Les enseignants se tourneraient vers des outils et plateformes tels que ChatGPT, Writable, Grammarly et EssayGrader, pour les aider à noter les devoirs, rédiger des commentaires, élaborer des plans de cours et créer des devoirs, quiz, sondages, vidéos et contenus interactifs afin d'améliorer ce qu'ils proposent en classe.

Or, si certaines écoles ont élaboré des politiques sur la manière dont les élèves peuvent ou non utiliser l’IA pour leurs travaux scolaires, beaucoup n’ont pas de lignes directrices à l’intention des enseignants.

Et ce, alors que l'IA permettrait aux enseignants de « noter les devoirs plus rapidement et de manière plus cohérente et d'éviter la fatigue ou l'ennui », relève Dorothy Leidner, professeur d’éthique des affaires à l’Université de Virginie.

Or, souligne Leidner, « un enseignant devrait être responsable de la notation, mais peut confier une certaine responsabilité à l'IA », alors que la notation devrait être « personnalisée » afin que les enseignants puissent fournir des commentaires plus spécifiques et témoigner du travail des élèves et, par conséquent, leur permettre de progresser au fil du temps.

Commentaires (16)


Amusant, hier sur Mastodon j'ai appris que TurnItIn c'est aussi fiable que n'importe quel produit basé sur un grand modèle de langage : mstdn.social/users/maxkennerly/statuses/112224602144257029

Edition : ajout du lien cliquable.
Modifié le 08/04/2024 à 07h24

Historique des modifications :

Posté le 08/04/2024 à 07h22


Amusant, hier sur Mastodon j'ai appris que TurnItIn c'est aussi fiable que n'importe quel produit basé sur un grand modèle de langage : https://mstdn.social/users/maxkennerly/statuses/112224602144257029

Si encore pour l'image la détection de contenu généré par IA marche plutôt bien (surtout avec les ajouts de filigrane), pour le texte les outils sont mauvais. OpenAI avait jeté l'éponge sur ce point justement.

Perso j'arrive à le repérer, enfin soupçonner plutôt, grâce à l'expérience de l'usage de ces outils combinée à l'absence de maîtrise des personnes les utilisant. Mais d'une manière automatisée, j'ai des doutes que ça ait un jour une quelconque efficacité.
Excellente illustration :bravo:

Que certains profs utilisent l'IA pour les aider à préparer un cours, pourquoi pas.

Mais la notation ce n'est pas possible: ne serait-ce que pour suivre la progression ou pas des élèves dans leur méthode de travail et/ou leur compréhension des attendus.
Noter c'est aussi mieux connaitre les élèves et aider à préparer les cours suivants par rapport à des points non compris.
De plus en plus de notes sont de simples Quizz (oui, quand j'étais jeune je trouvais totalement ridicule, stupide, inapproprié les QCM américains et je m'en moquait ouvertement, mais mes enfants sont évalués comme cela y compris en école d'ingé)

Certains profs ne font QUE des QCM (la techno, cette matière complètement vidée de toute substance au collège...)

Avant le boom des IA, j'étais tombé sur un article: pendant la covid, dans les pays nordiques, ils avaient développé une IA qui permettait de pré-évaluer une copie numérique: impossible de rendre une copie bâclé, bourrée de faute, non rédigée. J'avais bien aimé.

Je ne suis pas tout à fait d'accord avec la définition de noter. La note, c'est l'évaluation de l'élève à l'instant T, comment il se situe par rapport au cours. Mauvaise note -> remédiation - que le prof n'a pas le temps de faire en vrai pour chaque élève, donc l'élève doit soit bifurquer sur un accompagnement personnalisé soit se prendre en main.
Oui, le prof s'adaptera au rythme global de la classe.

Pour info, beaucoup de profs maintenant font l'interro ou une partie avant la vraie: parce qu'il est impossible de faire confiance aux élèves pour travailler chez eux, le seul moyen pour qu'ils soient "préparés" dans la majorité est de leur faire toute l'interro avant de leur dire ce qu'ils doivent approfondir. Cela permet aussi de gagner beaucoup de temps en désamorçant tout échange avec les parents râleurs.
Or, souligne Leidner, « un enseignant devrait être responsable de la notation, mais peut confier une certaine responsabilité à l'IA », alors que la notation devrait être « personnalisée » afin que les enseignants puissent fournir des commentaires plus spécifiques et témoigner du travail des élèves et, par conséquent, leur permettre de progresser au fil du temps.


Absolument. Bien qu'ici on parle des USA, si je me réfère à mon expérience de la scolarité (qui remonte un peu, et je n'ai aucune idée des pratiques actuelles) : les notes ne veulent rien dire. Tout comme aujourd'hui quand je vois des trucs à 5 étoiles, ça n'a aucun sens de mon point de vue.

Pourquoi ? Parce qu'il manque les critères associés pour définir le score. Si certains sont évidents, d'autres moins (je pense notamment aux dissertations de philosophie au lycée où je tournais aux mêmes valeurs avec peu de commentaires associés) et sans référentiel, difficile de savoir comment se positionner.

Et pour revenir à l'histoire de détection de plagiat, en fait je verrais un moyen simple et plutôt efficace, mais forcément plus consommateur en temps : l'oral. En dehors de la tricherie bien organisée (qui je pense reste très rare), celle réalisée par fainéantise se détectera immédiatement puisque la personne va botter en touche sur le travail fourni. Perso je le vois dans le contexte professionnel où les "solutions ChatGPT" pullulent aussi. Grattez un peu et vous découvrez immédiatement le pot-aux-roses.
Pas d'accord. Si la note n'est pas super précise, avec un bon barême, elle permet tout à fait de noter chaque notion évoquée en cours.

Quand à l'oral, c'est ce qui se fait en étude supérieures avec les colles. Mais c'est une pression énorme pour les élèves, il y a une proportion non négligeable qui craque avant/pendant/après une colle. Alors que dans les fait, une colle c'est juste une interro orale, mais le côté "personnel"/"intime" est un énorme poids.

Je pense que l'IA peut être une bonne idée pour préparer une interro: une IA capable de soulever des points noirs dans les réponses, de faire réagir l'élève, peut être un énorme plus dans l'apprentissage.

Beaucoup d'élèves se noient dans le cours: n'y voient que du par coeur, n'y voient pas le cheminement. Il n'y a qu'en s'entraînant qu'on peut progresser. Or, les élèves ont beaucoup trop de sollicitations à côté, et comme ils ont des exigences d'animation énormes maintenant, le travail et la progression personnelle ne leur apporte pas assez de satisfaction/amusement. Donc un coach numérique IA, un truc qui pré note, je trouve cela très intéressant pour essayer de remédier au gap énorme entre les attentes/exigences des élèves et les possibilités de l'éducation nationale.

Wosgien

Pas d'accord. Si la note n'est pas super précise, avec un bon barême, elle permet tout à fait de noter chaque notion évoquée en cours.

Quand à l'oral, c'est ce qui se fait en étude supérieures avec les colles. Mais c'est une pression énorme pour les élèves, il y a une proportion non négligeable qui craque avant/pendant/après une colle. Alors que dans les fait, une colle c'est juste une interro orale, mais le côté "personnel"/"intime" est un énorme poids.

Je pense que l'IA peut être une bonne idée pour préparer une interro: une IA capable de soulever des points noirs dans les réponses, de faire réagir l'élève, peut être un énorme plus dans l'apprentissage.

Beaucoup d'élèves se noient dans le cours: n'y voient que du par coeur, n'y voient pas le cheminement. Il n'y a qu'en s'entraînant qu'on peut progresser. Or, les élèves ont beaucoup trop de sollicitations à côté, et comme ils ont des exigences d'animation énormes maintenant, le travail et la progression personnelle ne leur apporte pas assez de satisfaction/amusement. Donc un coach numérique IA, un truc qui pré note, je trouve cela très intéressant pour essayer de remédier au gap énorme entre les attentes/exigences des élèves et les possibilités de l'éducation nationale.
Quand à l'oral, c'est ce qui se fait en étude supérieures avec les colles. Mais c'est une pression énorme pour les élèves, il y a une proportion non négligeable qui craque avant/pendant/après une colle. Alors que dans les fait, une colle c'est juste une interro orale, mais le côté "personnel"/"intime" est un énorme poids.


J'ai fait classe prépa, et je n'ai pas vraiment vécu les khôlles comme une contrainte ou ajoutant une pression énorme. La pression vient du rythme effréné entre les heures de cours, les heures de khôlles, les DS, les DM et les devoirs à la maison. Mais ce n'est pas les khôlles en particulier qui ajoute de la pression.

J'ai envie de dire au contraire même. Cela permettait d'avoir un moment privilégié avec un professeur (qui n'est pas forcément le sien !) pour poser des questions s'il y a un truc qui est mal compris ou pas clair tout en s'assurant d'avoir compris d'autres notions. C'est un bon point de validation, mais je suppose qu'on n'aborde pas tous de la même manière ce genre d'exercice, et cela dépend aussi du prof qui fait passer la khôlle (j'ai eu la chance d'être dans un lycée où l'ambiance était plutôt bonne, les profs aussi)

fdorin

Quand à l'oral, c'est ce qui se fait en étude supérieures avec les colles. Mais c'est une pression énorme pour les élèves, il y a une proportion non négligeable qui craque avant/pendant/après une colle. Alors que dans les fait, une colle c'est juste une interro orale, mais le côté "personnel"/"intime" est un énorme poids.


J'ai fait classe prépa, et je n'ai pas vraiment vécu les khôlles comme une contrainte ou ajoutant une pression énorme. La pression vient du rythme effréné entre les heures de cours, les heures de khôlles, les DS, les DM et les devoirs à la maison. Mais ce n'est pas les khôlles en particulier qui ajoute de la pression.

J'ai envie de dire au contraire même. Cela permettait d'avoir un moment privilégié avec un professeur (qui n'est pas forcément le sien !) pour poser des questions s'il y a un truc qui est mal compris ou pas clair tout en s'assurant d'avoir compris d'autres notions. C'est un bon point de validation, mais je suppose qu'on n'aborde pas tous de la même manière ce genre d'exercice, et cela dépend aussi du prof qui fait passer la khôlle (j'ai eu la chance d'être dans un lycée où l'ambiance était plutôt bonne, les profs aussi)
On ne devait pas être dans le même établissement alors.

Chez moi les kholes c'était pression maximale et aucun échange avec les profs: le but n'était pas d'améliorer l’apprentissage mais de savoir si tu savais répondre.
Aucune aide, aucun retour à attendre: comme pendant les concours.

carbier

On ne devait pas être dans le même établissement alors.

Chez moi les kholes c'était pression maximale et aucun échange avec les profs: le but n'était pas d'améliorer l’apprentissage mais de savoir si tu savais répondre.
Aucune aide, aucun retour à attendre: comme pendant les concours.
C’est dommage, car les khôlles sont effectivement censées jouer le rôle décrit par @fdorin.

Wosgien

Pas d'accord. Si la note n'est pas super précise, avec un bon barême, elle permet tout à fait de noter chaque notion évoquée en cours.

Quand à l'oral, c'est ce qui se fait en étude supérieures avec les colles. Mais c'est une pression énorme pour les élèves, il y a une proportion non négligeable qui craque avant/pendant/après une colle. Alors que dans les fait, une colle c'est juste une interro orale, mais le côté "personnel"/"intime" est un énorme poids.

Je pense que l'IA peut être une bonne idée pour préparer une interro: une IA capable de soulever des points noirs dans les réponses, de faire réagir l'élève, peut être un énorme plus dans l'apprentissage.

Beaucoup d'élèves se noient dans le cours: n'y voient que du par coeur, n'y voient pas le cheminement. Il n'y a qu'en s'entraînant qu'on peut progresser. Or, les élèves ont beaucoup trop de sollicitations à côté, et comme ils ont des exigences d'animation énormes maintenant, le travail et la progression personnelle ne leur apporte pas assez de satisfaction/amusement. Donc un coach numérique IA, un truc qui pré note, je trouve cela très intéressant pour essayer de remédier au gap énorme entre les attentes/exigences des élèves et les possibilités de l'éducation nationale.
Pas d'accord. Si la note n'est pas super précise, avec un bon barême, elle permet tout à fait de noter chaque notion évoquée en cours.


C'est précisément ce que j'ai écrit !
(...) les notes ne veulent rien dire (...)

Pourquoi ? Parce qu'il manque les critères associés pour définir le score. Si certains sont évidents, d'autres moins (je pense notamment aux dissertations de philosophie au lycée où je tournais aux mêmes valeurs avec peu de commentaires associés) et sans référentiel, difficile de savoir comment se positionner.


Quant à l'idée du coach IA, oui c'est un très bon cas d'usage de ces outils pour aider à apprendre et interroger. J'avais expérimenté ceci l'année dernière en simulant l'équivalent d'une certification d'un CSP. Forcément j'étais limité par les capacités de l'outil qui avait du mal à générer des réponses aléatoires accompagnant la bonne et le pattern s'identifiait rapidement, mais moyennant le développement adapté (ici c'était ChatGPT qui n'est pas fait pour) c'est parfaitement jouable.
H.S. complet :
Ce week-end un F5 sur la page d'accueil de next "https://next.ink/" a rafraichi à la place la page "https://next.ink/?begin=2024-03-29&end=2024-04-05" à mon insu. Cela se produit aléatoirement à divers moments de chaque semaine, parfois pas du tout.

J'aimerais savoir si cette fonctionnalité a une quelconque utilité pour quiconque et si de mon côté il existe un moyen de m'en débarrasser définitivement (car elle m'est parfaitement inutile, et je m'en aperçois généralement quelques jours après).
Hello !
On va regarder ça merci beaucoup du signalement 😊
Avec les IA, il y a des types d'évaluation qui n'ont plus de sens, faute de pouvoir s'assurer que c'est bien un travail personnel qui a été fait. Typiquement, une étude bibliographique sur un sujet donné, cela devient impossible à évaluer, et pourtant, c'est un exercice utile quand on a un problème et qu'on doit voir ce qui se fait dans la littérature (scientifique par exemple) ce qui se fait.

Quant aux enseignants, je trouve inacceptable de se reposer sur une IA pour évaluer : oui, c'est "chiant" de corriger des copies, mais ca fait partie du job.
Ce que je trouve drôle, c'est qu'une IA corrige une copie faite par une IA.
qu'est ce que cela va donner ?
Simple : aie aie aie xD
Potentiellement une boucle.

Quand j'ai joué avec Mixtral 8x7B pour tester un cas d'usage de relecture / amélioration de texte, j'ai eu l'idée saugrenue de lui faire relire ensuite ses propositions.

Il trouvait systématiquement quelque chose à redire et à reformuler, même paramétré en strict.

Encore plus amusant, il trouvait des erreurs qui n'existaient pas.
Fermer