L’État américain du Wisconsin utilise dans ses écoles un logiciel de prédiction de décrochage scolaire biaisé, a découvert le média « non profit » The Markup. DEWS, pour Système d'alerte précoce contre le décrochage scolaire (en anglais, Dropout Early Warning System), c'est le nom de ce logiciel qui promet d'aider le personnel éducatif à repérer les élèves en difficulté.
Le média explique qu'aux États-Unis, ce genre de systèmes est assez courant. Sauf que DEWS, qui est utilisé depuis 10 ans par ces écoles, s'appuie sur des données autres que les notes pour faire ses prédictions comme la « race » (catégorie sociologique utilisée aux États-Unis) ou les tarifs payés à la cantine. Selon The Markup, l'état du Wisconsin est au courant depuis 2021.
Mais le média va plus loin et explique que DEWS se trompe quasiment trois fois sur quatre quand il prédit qu'un élève ne va pas avoir son diplôme, et c'est le cas plus souvent quand les élèves sont noirs ou hispaniques.
Une étude scientifique (pas encore relue par les pairs) menée par des chercheurs de Berkeley montre que si DEWS n'a visiblement pas d'effet sur les élèves qui sont étiquetés avec le plus gros risque, il pousserait à moins s'occuper des élèves noirs et hispaniques.
Commentaires (42)
#1
#2
Le logiciel est plutôt un succès : s’il signale que du fait de son environnement économique et social l’élève a de fortes chances d’être en échec. Cela déclenche un effet de prise de conscience chez l’élève, son entourage, les enseignants et au final cet effet est porteur de résultat vu qu’il obtient son diplôme.
#2.1
Il y a besoin d’un logiciel pour ça ? 😅
Et t’es sûr de ta relation de causalité ?
#2.2
ben non, justement par exemple une étude a été
faite sur les réussites féminines en maths, dans les pays où elles sont supposées perdantes (iran, …) elles ont de très mauvais résultats, alors que dans les ceux où on suppose l’inverse (Norvège, …) elles sont meilleures que leurs homologues masculins. (étude dans 3 groupes à chaque fois, sur un on ne dit rien, sur l’autre on sous-entend que les garçons réussissent en principe mieux, sur le dernier que ce sont les filles qui réussissent mieux). Influence de la pression sociale…
#3
Ce n’est pas pour rien que le Wisconsin, c’est l’état du blaireau.
#4
100 billes dans un sac. Les 99 premiers tirages donnent une bille rouge.
Quelle est la couleur la prévisible de la prochaine bille ?
Même question si on sait que le sac contenait à l’origine 99 rouges et une bleu.
Que peut-on conclure sur les modèles prédictifs basés sur la seule observation des faits passés ?
(spoiler: c’est d’la meeerde)
#4.1
Observer le passé pour prédire l’avenir, c’est ce qu’on fait en économie. Ça marche extrêmement bien. Pourquoi remettre en cause le logiciel?
#4.2
Ah, oui, ça marche nickel, il suffit de voir la fréquence des crises et leurs causes, toujours les mêmes !
#4.3
Je cite thecis : “Ça marche”
Ils auraient tort de se priver
#4.4
Je cite la news:
#4.5
thecis parlait d’economie.
Et il ne disait pas que des crises, qui ne sont qu’un artefact; il parlait de sa gestion de crise et de son portefeuille.
Apres pour ton soft je sais pas; c’est ptet suffisant comme resultat un taux de reussite de 25%, genre il a detecte le cancre et 3 faux positifs.
Les 3 faux positifs ont ete reintegres apres 3j de garde a vue. Le cancre a ete elimine.
Mission reussie !
#4.6
C’est faux pour l’économie: l’histoire nous montre justement le contraire, et les crises en sont les preuves. Ce sont des modèles mathématiques qui gèrent les portefeuilles, basés sur les données historiques, justement. Et à chaque fois, création d’une bulle, qui finit par exploser. A chaque fois, donc, une cause financière qui entraine des conséquences économiques. Depuis le 17ème siècle, pour ce qui est de l’histoire.
Quant à une détection qui se plante 3 fois sur 4, ça ne sert à rien: tirer à pile ou face a un meilleur résultat et ne se plante qu’une fois sur deux.
Et pour ton exemple: tu mets tout le monde en garde a vue sans passer par un soft et on n’en parle plus, j’ai bon ?
#4.7
Ca on l’a déjà inventé en France contre les Cathares :
“Tuez les tous, Dieu reconnaitra les siens” aurait dit l’évêque de Narbonne aux croisés français (à l’époque les français étaient les habitants de l’Ile-de-France (on les appelle de nos jours les franciliens)).
#4.8
En France, désormais, et puisqu’on parle d’école, on fait l’inverse désormais. On leur donne le bac à tous, on attend qu’ils se ramassent dans le supérieur pour trier.
#5
On n’a pas eu en France, un président (indice: le petit Nicolas) qui prétendait prédire le comportement criminel futur des gamins dès la maternelle ? Crotalor, pour un coup qu’on avait 15 ans d’avance sur les ricains…
#6
La prédiction est viable (+/-) si le modèle est basé sur le phénomène sous-jacent (le comment ca se fait que…) et pas sur les observations.
Exemple avec les phénomènes naturels violents (éruption, ouragan). Avec un model basé seulement sur l’observation (avant-hier: rien, hier: rien, ajd: rien, demain=???) c’est clairement pas viable. Alors que si tu modélises le phénomène sous-jacent (tectonique des plaques, variation de pression) ca devient viable.
#7
Il y a plusieurs choses différentes dans cet article.
Déjà les paramètres utilisés : les tarifs payés à la cantine sont un bon raccourci vers les ressources financières de la famille, c’est souvent plus dur pour les pauvres (d’autant plus aux US) de s’en sortir.
Aux États-Unis la race (ou communauté, c’est souvent plus sociologique que lié à des vraies données génétiques, par exemple les Afro-Américains sont en bas de l’échelle sociale alors que les Nigérian-Américains issus de l’immigration récente ont une très bonne éducation. Les deux ont la peau noire.) est extrêmement importante aussi
Ensuite il y a l’absence de prise en compte des données par les écoles. On apprend dans l’article source que sur deux écoles, l’une a 49 % des élèves afro-américains, l’autre 6 %. Si les Américains sont comme les Français, les premiers à défendre la carte scolaire sont les premiers à tricher avec, il faut peut-être commencer par ça.
S’il n’y a pas de professeurs dédiés aux élèves en difficulté, si le but est de baisser l’argent dédié à l’éducation (ce que semble dire l’article), forcément ça n’ira pas bien.
Et enfin le modèle prédictif en lui-même on n’a pas les détails, mais en statistiques mieux vaut dire à tort qu’un élève risque de ne pas réussir et qu’il réussisse, ou dire à tort qu’un élève va réussir sans qu’il réussisse ? Ce n’est pas impossible que ce soit un logiciel bâclé et entraîné sur des données très partielles ceci dit.
#8
Non, pas du tout.
S’il y a 10% de cancre, tu vas te planter 9 fois sur 10 en tirant au hasard.
Si la machine sort un groupe avec 25% de cancre, elle a bien réussi à cibler plus particulièrement les cancres que les autres.
Encore mieux, si TOUS les cancres sont dans ces 25%, alors la machine a pu très bien répondre à son objectif si le but premier était de ne rater aucun cancre.
En suivant le lien de l’étude, on constate que les questionnements portent plus sur l’usage de l’algorithme (information du personnel éducatif, moyens mis en place, etc.) que sur la qualité de ses résultats. C’est l’article de The Markup qui se restreint à commenter l’étude avec sa propre grille d’analyse (à charge contre DEWS, là où l’étude semble plus mesurée).
#9
10 ans pour évaluer l’utilisation d’un logiciel.
On devrait leur proposer l’idée de créer une cour des comptes dans l’état du Wisconsin.
#9.1
Salut,
Si on parle du suivi d’une scolarité, avoir des données sur 10 ans (par exemple de 6 ans à 16 ans) me paraît une bonne chose : en une seule année il peut être plus difficile d’avoir des données fiables et avec du recul
#10
Non, je pense plutôt que c’est un logiciel qui a détecté (sans doute à raison) que les pauvres et les noirs ont moins de chances de réussir, et extrapole en disant que tous les pauvres et tous les noirs vont se planter.
#10.1
Si le logiciel trouve qu’être afro-américain et être d’une famille pauvre (je suis sûr que tu as plein d’autres facteurs à trouver : famille séparée ou violente, pas assez de sommeil, autre langue maternelle que l’anglais pour les latinos…) prédit un plus grand risque d’échec à l’école, je ne vois pas le problème.
Par contre si derrière le logiciel ne propose pas /les écoles ne mettent pas en place des solutions (aide aux devoirs, meilleurs professeurs, assistance sociale…) je vois un problème.
#11
Et avec la machine qui sort 75% de conneries, 9,5 fois sur 10.
Combien de cancres n’ont pas été identifiés? Combien de non cancres dans le groupe des identifiés?
Si tu te plantes dans 3 cas sur 4, tire à pile ou face, tu ne te tromperas qu’une fois sur deux.
#12
Ce dont tout le monde se gausse ici, c’est que quand le logiciel trouve qu’un élève est susceptible de décrocher, ça ne se produit réellement que dans un quart des cas. Bref, comme d’habitude, quand on prend le résultat d’une IA comme une “prévision” et non comme une tendance à surveiller, évidemment c’est risible.
#12.1
Comme dit supra, on n’a pas toutes les informations statistiques.
Je préférerais qu’on donne des cours de soutien à quatre élèves même si trois n’en auraient pas eu besoin, plutôt qu’on donne des cours de soutien à trois élèves mais pas à un quatrième et que ce quatrième échoue. (notions d’hypothèse H0 ou H1, ça fait une éternité pour moi, je ne me souviens plus bien).
Selon ce site : https://www.chalkbeat.org/2023/4/27/23699361/dropout-early-warning-system-dews-student-dropouts-race-income-data dans 97 % des cas le logiciel a bon pour dire qu’un élève va réussir sa scolarité sans problème.
Le problème ici n’est pas tant l’algorithme, que les écoles, l’administration, et un peu la société dans son ensemble.
#13
Ah, c’est bien la piste sur laquelle j’étais parti « former DPI research analyst Jared Knowles wrote that DPI was “explicitly stating we are willing to accept” 25 false alarms that students won’t graduate if it means correctly identifying one dropout. »
Comme si un logiciel pouvait corriger d’un coup de silicium le racisme largement présent dans la société américaine…
#14
C’est dommage que NXI ne nous ait pas mis en avant cette information, ça aurait évité qu’on parte sur des plans sur la comète dans les commentaires…
#15
S’il faut un logiciel pour prédire qu’être issu d’une minorité et être pauvre ne te favorise pas pour les études, j’ai un nom pour ce logiciel: Captain Obvious.
Si c’est un logiciel qui doit orienter un gamin, autant lui tatouer de suite un QR-code.
Nan mais sérieusement? Un logiciel pour orienter le gamin juste sur la base de stats (mal foutues certainement)? Oh, si le gamin est un virtuose du saxophone, un grapheur dément, un foutu geek, parce que ce gosse est noir ou hispanique et pauvre, tu vas l’envoyer faire des frites chez Mcdo ?
Ca a un nom cette façon de penser: eugénisme.
#16
C’est assez étonnant quand on sait que les attentes des enseignants ont une influence sur la réussite d’un élève.
Effet Pygmalion (avec une expérience sur des enfants)
Si la source de tpe5stan est correcte, le système pourrait être utilisé pour attribuer plus de ressources à ceux qui pourraient en avoir besoin (j’ai lu rapidement dans la source de Nextinpact que c’était le but à l’origine).
Est-il envisageable de se dire que si le logiciel se trompe 3 fois sur 4 c’est par ce que des mesures ont été prises pour favoriser la réussite de ceux qui ont plus de chances d’échouer ?
(Oui c’est un peu une pensée Bisounours, mais il faudrait voir des comparaisons avant / après, en prenant en compte les autres politiques en matière d’enseignement)
#17
Ce n’est à priori pas le seul facteur, mais le seul qui pose problème. Au vu des captures d’écran, il y aurait le taux d’abstentéisme, les résultats existants de l’élève, la discipline, la distance à l’école (à moins que ce soit le secteur ?)…
Oui, repérer les élèves en difficulté est quelque chose que le prof pourrait faire lui-même. Mais si c’est un logiciel cela permet d’éviter de rejeter les résultats d’un revers de main “ les profs ont inventé ça” ? Et au vu du racisme (un prof a quand même traité ses élèves de nègres selon l’article), d’avoir quelque chose de moins biaisé ? Si un élève change d’école et que le dossier n’est pas suivi ?
Qui parle d’orientation ? On parle de réussite à l’équivalent du baccalauréat, pas de quel travail ils feront derrière.
Et même s’ils font un travail de McDonalds, https://www.jstor.org/stable/2937954 les années d’études leurs seront quand même utiles.
Tu sais que les classes sont dédoublées en CP et CE1 en REP en France, tu dis aussi qu’autant leur tatouer un QR code ?
#18
Tu sais que c’est déjà le cas avec la dernière réforme du bac et Parcoursup ?
#18.1
qu’est-ce qui est le cas ?
Que les immigrés et les minorités ethniques sont plus souvent en échec scolaire en France ? Les statistiques ethniques sont interdites sauf en Nouvelle-Calédonie, donc ce n’est pas officiel mais c’est plus que probable.
Que les classes sont dédoublées en terminale pour parcoursup ? Je ne crois pas, ou alors tu fais allusion aux options qui sont gérées de façon bordélique.
J’ai l’impression qu’on ne parle pas du tout de la même chose.
Le but théorique de DEWS est d’aider les élèves jusqu’à leurs 17-18 ans, pas au-delà. Ce qui se passe après n’est pas du tout le sujet.
#18.2
Depuis la dernière réforme du bac et la généralisation du contrôle continu, le bac n’a pas la même valeur d’un lycée à l’autre.
Un élève qui a une mention assez bien dans un lycée élitiste et dont les profs ont une grille de notation très sévère est bien mieux vu qu’un élève ayant eu une mention bien dans un lycée public d’une banlieue défavorisée.
Et grâce à la carte scolaire, où sont les pauvres et les minorités ?
J’ai un exemple bien concret. La fille de ma nana a eu son bac avec une moyenne de 11 dans un lycée lillois très élitiste (et privé) et flippait avec Parcoursup. Son premier choix, une école réputée parisienne a été accepté d’entrée.
#18.3
Je suis bien d’accord, j’en ai pas mal entendu parler.
Mais le rapport avec le Wisconsin ?
#18.4
Parce que la ségrégation dans le parcours scolaire (et ailleurs) est spécifique au Wisconsin ?
Cet outil, partant d’un vœu pieux est une catastrophe, et c’était prévisible, bien trop de paramètres à prendre en compte et bien trop ont été ignorés.
Tiens, un grand frère ou une grande soeur qui réussit ses études et qui pourra filer un coup de main par exemple, c’est pris en compte ? Un voisin qui serait un prof à la retraite? Pour juger des chances d’un gosse “défavorisé”, c’est pas mal.
Un tonton avec les mains baladeuses, ça doit faire baisser les chances d’un gosses favorisé a contrario, c’est pris en compte ?
Juste l’idée d’un logiciel pour catégoriser les gamins et préjuger de leurs chances de succès me dérange profondément.
#18.5
Non, mais le but des commentaires n’est pas non plus de parler de tout et n’importe quoi ^^
Ce n’est pas « une catastrophe », c’est un outil d’intérêt extrêmement limité, ce qui est une catastrophe c’est le racisme/les inégalités/la ségrégation de la société américaine (enfin wisconsinienne précisément) et que des gens croyaient qu’avec des puces en silicium on peut corriger ça.
J’ai envie de copier-coller ma réaction à l’échec de la plate-forme “mon master” il y a peu
Les profs le font déjà, hein. C’est au doigt mouillé, c’est tout.
Perso j’étais suivi par le RASED (parce que j’étais immigré je crois, j’ai fait des études extrêmement brillantes après, avec moi il y avait un franco-colombien qui avait fait au moins un bac+3 et un français qui lui avait vraiment des difficultés. En Europe de l’Est ils classifient la quasi-totalité de la population Rom comme déficiente mentale)
À un moment le but de détecter les élèves à risque de décrochage est de les aider à s’en sortir, pas de sortir des stats à la 13-50.
Parce que bon, même si on méprise leurs vies (ce qui est ignoble) on ne peut ignorer que des élèves sortis du système scolaire vont être un fardeau pour la société et que ça coûte moins cher de les insérer.
#19
Cool, des statistiques. Faisons un peu d’épidémiologie de base.
https://fr.wikipedia.org/wiki/Sensibilité_et_spécificité
Bref, c’est effectivement un très mauvais indicateur de l’échec scolaire.
#19.1
Merci du calcul !
(une référence à Gattaca)
C’est effectivement peu efficace.
En même temps heureusement que nous sommes des êtres humains et pas des machines et qu’on ne sait pas prévoir nos résultats scolaires à la naissance à partir d’une goutte de sang
#20
Sauf que ca c’était l’année dernière: cette année les épreuves de spécialités ayant eu lieu en mars, le controle continu est moins pris en compte: les notes des spécialités étant disponibles pour Parcoursup.
Pour finir à Lille comme dans toutes les grandes villes il y a des lycées publics non pas élitistes mais qui cartonnent quand même pour ceux en sortie.
A Lille c’est le lycée Faidherbe.
Que ton amie veuillent mettre sa fille dans un lycée élitiste c’est son choix, mais cela ne garantit absolument rien.
Perso j’ai fait toute ma scolarité dans le public, mes enfants sont dans le public et il n’y a aucun problème.
Par contre post bac, il y a des formations élitistes payantes où tu achètes ton diplôme pour certaines (coucou les commerciaux).
#21
Ah p’tain, j’ai bien ri. Même son voisin, Gaston Berger a meilleure réputation. Et dans le quartier, le top du top c’est Baggio. Tant qu’on reste dans le public.
Faidherbe avait une très bonne réputation fin des années 80. Depuis, ben… c’est le lycée des cas soc’ du boulevard de Belfort.
L’expérience que je relate montre que ça permet avec un 11 de moyenne d’accéder à son premier choix Parcoursup, même si celui-ci était très ambitieux. Un 15 obtenu à Vandermeersch à Roubaix, je ne suis pas sûr que le directeur de l’école aurait simplement ouvert le dossier.
J’ai fait 100% de ma scolarité dans le public également. Mais à l’époque, le bac était un examen national devant lequel on était tous égaux. Ma mention bien au bac C m’a ouvert bien des portes, sans qu’on regarde où j’ai fait mon parcours scolaire.
Ca n’a pas changé depuis 40 ça. Mais ces diplômes en carton n’ont jamais rien valu sur le marché du travail.
#22
C’est quoi le rapport avec le Wisconsin ?
#23
Dans ce cas les cas sociaux réussissent vachement bien au bac au lycée Faidherbe.
Le classement que j’ai lu prenait en compte le taux de réussite au bac mais aussi le taux par rapport à la 2nde. Ben oui dans le privé si on ne t’accepte pas en 1ere pour faire monter les chiffres, cela ne veut pas forcément dire que l’enseignement est meilleur mais que les élèves sont triés.
Je me souviens avoir tapé un grand nombre d’élèves du privé pendant mes CPGE et les concours derrière. Et pourtant mon lycée était considéré comme un lycée de cas soc car il avait le malheur d’avoir une section pro.