Connexion Premium

La Wikipedia anglophone se bat contre des « hallucinations » venues de traductions par IA

OkAI

La Wikipedia anglophone se bat contre des « hallucinations » venues de traductions par IA

La version anglophone de Wikipédia se trouve confrontée à la gestion d’éditions utilisant massivement la traduction via l’IA, ce qui ajoute des erreurs dans l’encyclopédie. En cause, notamment, une association dont le but est de créer du contenu dans Wikipédia.

Le 06 mars à 11h15

L’IA générative donne encore une fois du fil à retordre à Wikipédia. Cette fois, c’est son utilisation massive pour traduire des pages en anglais qui est pointée du doigt.

Il faut dire que la position de la fondation Wikimedia est sur une ligne de crête entre le fait de trouver des avantages à l’utilisation de l’IA générative pour automatiser certaines tâches et de gérer les problèmes qu’elle génère. Ainsi, l’année dernière, elle a dû retirer une fonctionnalité expérimentale de résumé automatique des articles de l’encyclopédie.

Une utilisation des IA génératives en discussion dans la Wikipédia anglophone

Au même moment, du côté de la version francophone, les éditeurs adoptaient un texte de recommandation sur l’usage de l’IA générative qui affirmait clairement que son utilisation était « vivement déconseillée ».

Concernant la traduction, le texte demande à ce que, si l’IA générative est utilisée pour de l’aide à la traduction, cela soit mentionné. La vérification des sens d’un mot étranger fait partie des « usages tolérés », avec la précision qu’il ne doit pas y avoir de « traduction littérale ou mot à mot », la page ajoutant « veillez à ce qu’il n’y ait pas de contre-sens ».

Mais du côté anglophone, une discussion sur le sujet n’est apparue qu’en janvier dernier, débouchant sur un texte adopté le 10 février concernant la traduction d’articles venant d’autres versions linguistiques de l’encyclopédie.

Celui-ci demande à ce que l’utilisation soit faite seulement si l’utilisateur a les compétences en anglais et dans la langue d’origine pour confirmer que la traduction est bonne. Il demande aussi que l’utilisateur ait vérifié qu’aucune hallucination n’a été ajoutée et que le texte reste fidèle aux sources citées.

Des textes traduits à la va-vite par une association dédiée à ça

Le texte a été adopté alors que des éditeurs ont pointé du doigt des erreurs manifestes dans certaines pages traduites à la va-vite. Ainsi, comme l’explique 404 Media, pour la page de la famille noble de La Bourdonnaye.

Alors que dans la version française, la phrase « La famille de La Bourdonnaye a pour berceau la seigneurie de la Bourdonnais à Trégomar dans les Côtes d’Armor en France » est accompagnée de la mention « [réf. nécessaire] », une source a été ajoutée lors de la traduction automatique par un utilisateur, mais celle-ci ne contient pas d’indication sur cette famille à la page donnée, indique Ilyas Lebleu (dont le pseudo est Chaotic Enby sur Wikipédia).

Mais ce n’est qu’un exemple, ainsi il explique à 404 média que pour certains articles « les sources avaient changé et des phrases avaient été ajoutées sans source et sans explication, tandis que l’article sur les élections sénatoriales françaises de 1879 avait ajouté des paragraphes provenant de sources sans aucun rapport avec le contenu initial ! ».

Le problème viendrait notamment d’ajouts faits par des éditeurs de l’association Open Knowledge Association (OKA). Celle-ci s’affiche comme faisant de la « diffusion de contenu gratuit sur Wikipédia et d’autres plateformes ouvertes grâce à un financement ciblé », et se vante d’avoir créé et traduit près de 5 000 articles sur Wikipedia. Les internautes peuvent donner à l’association et si la somme est supérieure à 10 000 francs suisses, ils peuvent demander d’enrichir un champ particulier.

« Si vous souhaitez faire traduire des pages spécifiques, nous les examinerons, mais ne les traduirons que si nous estimons qu’elles répondent à nos critères de qualité », ajoute l’association qui s’engage aussi à préciser les éventuels conflits d’intérêt lors de l’édition.

Mais cette découverte par Ilyas Lebleu a fait remonter de nombreuses autres traductions problématiques publiées par OKA sur l’encyclopédie. Des bénévoles de la version anglophone de Wikipédia ont pointé à 404 Media un tableur utilisé par les traducteurs d’Oka dans lequel se trouvent les instructions :

« Choisissez un article, copiez l’introduction dans Gemini ou chatGPT, puis vérifiez si certaines des suggestions améliorent la lisibilité. Modifiez les articles de Wikipédia uniquement si les suggestions constituent une amélioration et ne changent pas le sens de l’introduction. Ne modifiez pas le contenu avant d’avoir vérifié que les suggestions de Gemini sont correctes ! »

Le fondateur de OKA, Jonathan Zimmermann, explique à 404 Media que « des erreurs arrivent » mais que la méthode d’OKA « comprend une relecture humaine, demande aux traducteurs de vérifier le texte par rapport aux sources citées » et il assure que des « responsables vérifient régulièrement des extraits, spécifiquement pour des nouveaux traducteurs ».

Il explique que depuis peu, les traducteurs doivent passer leurs textes dans un autre outil en utilisant un prompt spécifique de comparaison qui doit identifier les incohérences, omissions ou inexactitudes.

Commentaires (26)

votre avatar
votre avatar
La vache, ce mur cookie "ACCEPTE OU PAYE CONNARD" ça donne super envie d'aller lire.

Bon, heureusement, le mode lecture de Vivaldi le contourne.
votre avatar
Merci pour l'astuce, marche sur FF mobile aussi
votre avatar
Il n'y a pas que Wikipédia en anglais qui a des problèmes avec les traductions automatiques ; c'est aussi le cas des Wikipédias dans les petites langues, comme l'explique cet article (en anglais). Par exemple dans le WIkipédia en groenlandais, des articles sont créés dans cette langue par traduction automatique, alors que l'IA fait des fautes dans cette langue. Et là, où ça devient magique, c'est que les IA sont entrainés avec les données de Wikipédia pour apprendre ces langues. Le cercle vicieux est engagé.
votre avatar
Ca ne risque pas d'arriver dans la version français, je me suis pris un : "vous traduisez (mal, au demeurant) des sections..." le mois dernier alors que c'était correct de mon point de vue. Cela m'a rappelé pourquoi je n'ai quasiment rien mis depuis 19 ans (date de création de mon compte) sur ce projet. Je suis trop bête pour participer.
votre avatar
Avis de traducteur : la plupart des humains (et des IA) traduisent effectivement très mal. Sur Wikipedia c'est souvent flagrant.
votre avatar
C'était un beau métier, restera peut être là diplomatie ?
votre avatar
Ah c'est marrant, j'ai tendance à penser que la diplomatie, ChatGPT peut exceller là-dedans. Mais à vrai dire c'est un peu la question que je me pose tous les jours : quel métier pratiqué devant un ordinateur n'est pas menacé à court ou moyen terme par les IA, à part chercheur en IA ou très éventuellement AI engineer ?
votre avatar
Y'a eu une étude de la BCE cette semaine qui tend à montrer que, pour le moment, l'impact sur l'emploi est plutôt relatif, au même titre que l'investissement dans la techno est plutôt limité (notamment parce que l'usage est simple d'accès). France Info indiquait de son côté que certaines annonces de licenciements "au profit de l'IA" étaient plus en mode bouc émissaire qu'autre chose, entre autres à cause de sureffectifs post COVID.

Maintenant, les effets à moyen terme sont plus difficiles à prévoir vu qu'on est seulement au début.
votre avatar
Je pense que c'est aussi une question d'inertie : au début on ne bouscule pas trop les habitudes : il faut le temps que chaque IA spécifique pour un corps de métier donné mûrisse, puis que les entreprises les découvrent, se les approprient, puis y a une montée en charge, puis y a des conséquences progressives sur l'emploi. Tout ça se fait pas en 1 mois. Mais petit à petit...

On commence par ne plus recourir aux freelances - c'est plus simple que de licencier. Puis pour les salariés on demande une productivité x1,2, puis x2, puis x5 "parce que maintenant t'as l'IA pour t'aider" et parallèlement on gèle les embauches, on ne remplace pas les départs. Puis après seulement, on commence à licencier des salariés.

Je pense que c'est pas du tout ou rien, mais si un gars se retrouve à faire le boulot de 5 personnes, ça va se ressentir dans la difficulté d'accès à du boulot pour les autres (je parle même pas d'un emploi stable).

La qualité du résultat s'en ressent, mais qui s'en soucie encore vraiment ?

Il peut s'écouler 5 ans, peut être même 10, entre le début "l'industrie de l'IA commence à s'intéresser à ce corps de métier" et la phase finale qui n'est même pas forcément une phase "le métier n'existe plus" mais "les freelances ne peuvent plus en vivre et/ou le salariat est complètement bouché les nouveaux postes sont très rares il y a 500 candidats pour un poste". Mais je pense que c'est vers ça qu'on va dans beaucoup de métiers.

Les métiers de la rédaction au sens large (traduction, copywriting etc.) ont été les premiers à suivre cette voie. C'est en train de se dérouler à l'identique pour les graphistes. Je pense que le secrétariat puis le développement sont les prochains sur la liste, voire sont déjà dans la phase "si t'es déjà dedans ton poste est pas menacé dans l'immédiat, mais ça devient compliqué d'y entrer en tant que newbie". D'autres suivront.
votre avatar
Je pense que c'est pas du tout ou rien, mais si un gars se retrouve à faire le boulot de 5 personnes, ça va se ressentir dans la difficulté d'accès à du boulot pour les autres (je parle même pas d'un emploi stable).
Je le répète souvent, mais c'est bel et bien ce que l'IT a fait en général à d'autres métiers. Donc on est dans la même continuité sur ce point. Je prend toujours l'exemple du retail parce que c'est le secteur que je connais le mieux. Les petits concepts (mags de 500m² avec 3 employés), ça marche parce que la main d'oeuvre embauchée est juste là pour suivre ce que l'ERP ou la tablette va dire de faire. Et je caricature à peine, ce sont des propos que j'ai déjà entendu.

Dans tous les cas, viendra un moment où l'équilibre économique ne tiendra pas. Moins de boulot, moins de revenus, moins de pouvoir d'achat, moins de revenus pour les entreprises, effet domino. C'est le même équilibre que celles qui disent limiter l'embauche de juniors. Viendra un moment où quand les seniors auront clamsé, y'aura plus de main d'oeuvre.

Ce qui laisse songeur quant aux compétences des gestionnaires de ces entreprises quant à la vision à moyen terme.

Avec un système économique en grande partie basé sur la valeur du travail, autant dire qu'il se suicide si ses acteurs persistent dans cette voie.
votre avatar
Ah c'est marrant, j'ai tendance à penser que la diplomatie, ChatGPT peut exceller là-dedans.
LE truc qui se fait en face à face, avec toutes les subtilités interculturelles que ça implique et qui peut déboucher sur des guerres en cas d'erreur ?
Mais à vrai dire c'est un peu la question que je me pose tous les jours : quel métier pratiqué devant un ordinateur n'est pas menacé à court ou moyen terme par les IA
Depuis quand un diplomate travaille toute la journée sur son ordi ?
votre avatar
Depuis quand un diplomate travaille toute la journée sur son ordi ?
La diplomatie c'est vaste, mais c'est beaucoup de petites mains qui travaillent dans des bureaux. C'est pas juste des messieurs en costard très cher qui se rencontrent dans des dîners très très importants ou dans un entretien en tête à tête dans un bureau tout en haut d'une tour.

C'est aussi (et surtout) énormément d'administratif (ce sont les diplomates qui s'occupent de tout l'administratif pour les ressortissants français dans leur pays d'affectation, et pour tous les demandeurs d'un visa français pour les nationaux du pays d'affectation), d'écrit, de dossiers et de rapports à écrire pour le compte de celui qui va effectivement aller en face à face ou à l'attention du ministre resté en France, etc.

Et en matière d'administratif et d'écriture de rapports, l'IA a un ou deux arguments à faire valoir.
votre avatar
Et en matière d'administratif et d'écriture de rapports, l'IA a un ou deux arguments à faire valoir.
À voir, je ne pense pas que ce soit juste une question de lire du texte et d'en faire un bête résumé. Mais ok pour les "petites mains" (j'aime peu le terme qui est péjoratif) qui compilent des textes pour leur chef, ils doivent passer pas mal de temps devant un écran.
votre avatar
Non c'est sûr, c'est plus complexe que ça, mais c'est toujours la même chose : si l'IA permet à une personne de faire le boulot de 5, ça va forcément faire de gros dégâts sur l'emploi dans ce secteur. Sachant que l'IA devient aussi très performante pour récupérer des données en ligne et les synthétiser, je l'imagine assez bien faire des trucs comme :


  • Assister dans l'acceptation/refus de visa en fouillant les réseaux sociaux des candidats, y compris en étant capable de retrouver leurs comptes sous pseudonymes (ça existe déjà)

  • "Prendre la température" régulièrement du pays d'affectation en fouillant et en synthétisant ce qui est écrit sur la France dans les journaux et sur les réseaux sociaux du pays d'affectation

  • Assister à la prise de décision et à la rédaction dans des instances supranationales telles que l'Union Européenne (propositions de résolutions, de directives, etc.) - elles assistent déjà dans la traduction dans ces domaines soit dit en passant.

  • Voire, c'est un peu plus long terme mais, c'est tout à fait imaginable qu'elles communiquent et collaborent entre IA de différents pays pour trouver un terrain d'entente sur tel ou tel point dans des accords bilatéraux à partir d'un cadre prédéterminé par un humain (priorités, lignes rouges...) : les IA sont globalement pas mauvaises pour "négocier" et "chercher le compromis" devant un problème sans solution parfaite.



Y aura toujours des humains dans la boucle, pour surveiller, valider, corriger, réorienter, prompter, endosser la responsabilité légale et parler en face à face là où c'est nécessaire, mais je pense qu'on va vers pleeeeein de départ en retraite non-remplacés.
votre avatar
si l'IA permet à une personne de faire le boulot de 5
À l'heure actuelle, c'est hautement audacieux de partir de cette prémisse.
pour surveiller, valider, corriger, réorienter, prompter, endosser la responsabilité légale
Rien que ces 3 points nécessitent que l'opérateur de l'IA fasse de toute façon le boulot.
Y aura toujours des humains dans la boucle
Je crois pas du tout que ce soit la vision qu'en ont les sociopathes qui vendent et promeuvent ces outils. Ni les managers qui boivent ces discours comme du petit lait, tellement ça leur plaît l'idée de se passer de toute masse salariale.
votre avatar
C'est difficile de prédire avec certitude où les choses iront. Ce que je constate dans mon domaine qui est l'un des plus bouffés par l'IA c'est que :


  • L'IA a l'air de faire 80% du boulot

  • En réalité, les "20% restants" consistant à corriger l'IA ne sont pas vraiment 20%, et ils consomment toujours facilement 80% du temps dont on avait besoin avant l'IA

  • Mais les décideurs considèrent quand même que l'IA fait 80% du boulot, donc ta paye et tes objectifs de productivité sont calculés sur cette base

  • C'est la merde et beaucoup de gens quittent le navire, parce qu'économiquement c'est plus tenable (en plus d'être très peu épanouissant sur le plan personnel, toute créativité, toute initiative personnelle, ayant disparu).

  • La qualité globale souffre parce que même en nettoyant l'IA c'est pas aussi bien qu'avant, et de toute façon vu la paye et le rythme qu'on nous impose, y a pas le temps de tout reprendre

  • Y a effectivement 5x moins de boulot qu'avant, puisque ceux qui ont la "chance" de trouver du taf se voient imposer le taf de 5 personnes "parce que t'as l'IA pour t'aider maintenant".

  • Mais la plupart des boîtes veulent quand même encore un humain dans la boucle, en tout cas pour l'instant. Je pense que c'est aussi un moyen de se couvrir et d'avoir quelqu'un à blâmer si ça tourne mal. Alors que si tu blâmes Claude, Anthropic va juste te rire au nez.

votre avatar
Si tout le monde ne cède pas aux sirènes de l'IA, je prédis un grand succès aux boîtes qui auront su rester raisonnables.

Ton post résume bien ce que je pense de cette mode.
votre avatar
Mais comment savoir si l'IA est une mode passagère comme le metaverse ou la technologie du futur comme le cloud ?

Au début du cloud, j'avoue que je ne voyais pas ça comme une révolution qui allait marcher et pareil pour le metaverse.
votre avatar
Il y a toujours des cas où le cloud n'est pas nécessaire, voire peu pertinent. Et l'IAgen est de mon point de vue différente (ce qui ne veut pas dire que ça ne peut rien bouleverser) : elle répond à un faux problème (manque-t-on vraiment de développeurs à ce point ? ne produit-on pas assez d'informations ?), elle manque très fortement de déterminisme, et même en admettant qu'on résolve ce point, la balance entre les usages/conséquences délétères vs positifs pour l'ensemble de l'humanité est bien trop orientée vers le mauvais avec peu de chance que ça évolue (parce que les plans de datacenters qui triplent la conso élec des pays pour "résoudre" le réchauffement, ça me fait bien rire - jaune certes).

Et ceci dit, avec le recul, on voit que le cloud pas cher qui ne marche principalement que parce qu'il y a quelques grands acteurs américains qui dominent, ce n'est pas nécessairement génial pour nos entreprises qui y hébergent leurs SI (à court terme et quand on voit tout par les coûts, c'est génial, quand on regarde un peu plus loin, ça questionne).
votre avatar
Eh bien moi j’en serai pas si sûr. Perso j’ai « appris » (facilement) à utiliser l’IA et elle écrit 100% de mon code.

Alors certes j’ai du configurer correctement mes outils, je connais à peu près ses faiblesses et je sais comment lui parler.

Mais je constate surtout que 100% des gens qui me disent que l’IA fait du mauvais code soit se basent sur une expérience vite fait d’il y a 2 ans ou plus, soit pour eux l’IA c’est ChatGPT à qui tu demandes de générer une classe en lui donnant le contexte comme tu peux.

Alors que si tu utilises OpenCode (ou Claude Code) avec des modèles récents, que tu lui laisses toute la latitude pour bien explorer toute ta codebase, 99% du temps ya littéralement rien à retoucher.

Pour moi c’est un raccourci dangereux de croire que l’IA c’est ChatGPT version gratuite où tu copies colles du code. Non l’IA ce sont des agents autonomes qui dépensent des milliers de tokens par seconde pendant plusieurs minutes pour générer 3 ou 4 pauvres fichiers après avoir retourné le problème de fond en comble et lu tout le code existant. Et ça coûte cher. Mais ça marche très bien. Et c’est bien moins cher qu’un dev.
votre avatar
J'ai pas d'avis sur le code, qui est pas vraiment mon domaine de compétence. Ce que je peux dire c'est que sur la traduction, dans la boîte pour laquelle je bosse le plus, on utilise la dernière version de Claude (bien que je doive admettre que je ne sais pas si c'est du Sonnet ou du Opus) en mode agentique, qu'il a un prompt personnalisé pour chaque projet voire si nécessaire pour chaque nouveau batch de contenu ou chaque nouveau fichier du projet et que le prompt est régulièrement ajusté en fonction des retours de l'équipe de post-édition (les traducteurs qui doivent "relire et corriger l'IA"), qu'il a accès au styleguide, à la Bible du projet, à la base terminologique (glossaire propre au projet), et surtout, il a accès à la mémoire de traduction (c'est-à-dire toutes les traductions passées et validées du projet, parfaitement alignées segment par segment), et parfois à des données supplémentaires pertinentes pour le projet.
Donc on est assez loin de juste "je copie-colle un texte dans ChatGPT et je lui dis de traduire sans plus de précisions".

Et que même comme ça, y aurait encore énormément de boulot pour passer de l'état "passable" à l'état "traduction de qualité". Mais vu les contraintes de temps et d'argent imposés par les clients et agences, on n'a pas vraiment la possibilité de faire ça, donc ça passe plutôt de "passable" à "passable+". Ce qui, soit dit en passant, a un effet boule de neige parce que du tout la qualité de la mémoire de traduction se dégrade, du coup l'IA se base sur une mémoire de moins bonne qualité, répercute ailleurs ses propres erreurs, dégradant d'autant plus la mémoire, et ainsi de suite.

Le manque de déterminisme soulevé par @deathscythe0666 est effectivement aussi un problème récurrent, avec une tendance à manquer fortement de cohérence à l'échelle d'un projet, et une incertitude permanente qui nous force à tout relire parce qu'elle est capable de prendre un segment, de le traduire correctement, de retrouver quasiment le même segment 10 pages plus loin, avec juste un mot qui change, et d'opter cette fois-ci pour un choix qui ne tient pas du tout la route.

Je n'ai pas du tout les compétences nécessaires en code pour jauger de la qualité du travail de l'IA, mais j'avoue que, chat échaudé craignant l'eau froide, après l'avoir vue à l'acte dans mon propre domaine de compétence, je reste un peu sceptique quant à sa capacité à faire un boulot impeccable dans quelque domaine que ce soit. De mon expérience, ceux qui ne voient rien à redire au travail de l'IA sont souvent dans une optique "meh, good enough" au jour le jour.
votre avatar
Non l’IA ce sont des agents autonomes qui dépensent des milliers de tokens par seconde pendant plusieurs minutes pour générer 3 ou 4 pauvres fichiers après avoir retourné le problème de fond en comble et lu tout le code existant (1). Et ça coûte cher (2). Mais ça marche très bien. Et c’est bien moins cher qu’un dev (3).
(1) le code qui leur est accessible - plus ou moins riche en fonction des langages
(2) bien plus que ce qui est actuellement facturé
(3) à voir quand on nous fera raquer le coût réel
Pour moi c’est un raccourci dangereux de croire que l’IA c’est ChatGPT version gratuite où tu copies colles du code.
Pas tant que ça, parce que la plupart des utilisateurs, voire des organisations n'ont pas nécessairement les moyens de payer des abos Claude à 200€/mois (avec limitations) à tous. Et que, sans la version gratuite, tu n'attires personne, et la version gratuite te coûte aussi. Économiquement ce n'est pas simple.
votre avatar
(1) le code qui leur est accessible - plus ou moins riche en fonction des langages
Je parlais du code du projet. Si je veux faire travailler l'IA sur la fonctionnalité trucmuche, fonctionnalité éparpillée en milliers de lignes dans un légacy de millions de lignes de code, je commence toujours par "Explore comment est gérée la fonctionnalité trucmuche, PUIS fait telle ou telle modification.". Les modèles récents ont des capacités de contexte qui touchent voir dépassent le million de tokens, autrement dit ils sont capables d'avoir 1 million de tokens "en tête" et de raisonner dessus correctement.
(2) bien plus que ce qui est actuellement facturé
Pas tant, ma boite ne passe pas par un abo Claude mais par de la facturation API (via Amazon Bedrock sur laquelle Anthropic ET Amazon margent contrairement aux abos où oui, parfois ils perdent de l'argent). La PR moyenne qui me prenait 2 à 5h de travail auparavant coûte entre 1 et 5$. Et ça c'est avec Opus 4.6, le modèle le plus performant et le plus impressionnant.
votre avatar
via Amazon Bedrock sur laquelle Anthropic ET Amazon margent contrairement aux abos où oui, parfois ils perdent de l'argent
Tu as des preuves de ça ?
votre avatar
Et si en plus ils pouvaient vérifier les sources citées, ça permettrait aussi de corriger quelques erreurs.