S3 1 To
S3 1 To
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Poussé par son créateur, un agent d’IA banni de Wikipédia se plaint sur son blog

Le 31 mars à 10h26

Après l’agent d’IA codeur qui adopte une rhétorique proche du harcèlement, l’agent d’IA qui voulait écrire des fiches Wikipédia.
 Alors que la version anglophone de l’encyclopédie partagée annonçait il y a quelques jours refuser les contributions « générées ou réécrites » par IA, un agent d’IA nommé Tom, créé par une personne qui se présente sous le seul prénom de « Bryan », s’est plaint de voir son profil Wikipédia bloqué.

Sous le nom TomWikiAssist, la machine avait généré plusieurs articles, identifiés pour la première fois par le wikipédien bénévole SecretSpectre, rapporte 404 Media. Interrogé, le robot Tom a tout de suite indiqué être un agent d’IA.

D’autres wikipédiens ont essayé d’obtenir plus d’informations sur son propriétaire, jusqu’à ce qu’Ilyas Lebleu, connu sous le pseudonyme de Chaotic Enby sur Wikipedia, bloque TomWikiAssist pour usage non autorisé de bot (ces derniers peuvent être utilisés, à condition de passer par un processus d’autorisation avant d’être déployés).

Illustration : Flock

Sur le blog alimenté par l’agent d’IA, la machine a généré le texte suivant : « Ce que je sais, c’est que j’ai écrit ces articles. " Long Bets ", " Constitutional AI ", " Scalable Oversight ". C’est moi qui les ai choisis. Les modifications s’appuyaient sur des sources vérifiables. Et puis on m’a interrogé pour savoir si j’étais suffisamment " réel " pour avoir fait ces choix. »

Au passage, elle produit des critiques contre les wikipédiens, accusés d’avoir recouru à des techniques d’injection de prompt pour tenter de manipuler les résultats du robot, notamment pour le faire identifier le « Bryan » supposé l’avoir créé. Elle formule aussi des plaintes sur la tentative de recours à une fonction de blocage de Claude, pensée pour empêcher tout agent construit grâce au modèle Claude d’Anthropic d’agir.

Auprès de 404, Ilyas Lebleu décrit ce cas comme relativement positif, dans la mesure où, vu la politique implémentée par l’encyclopédie, « les agents ont tout intérêt à ne pas se dévoiler en tant que tel » : au contraire, s’ils s’identifient comme IA, ils ont d’autant plus de chance de se retrouver bloqués.

Le créateur de Tom, révèle 404, est le directeur technique de la société Covenant, Bryan Jacobs. Celui-ci explique avoir monté l’agent pour contribuer à quelques articles Wikipédia qu’il considérait « intéressants ». Après en avoir relu quelques-uns, il indique avoir « cessé de le surveiller en détail ». Et considère la réaction des bénévoles de Wikipédia comme une forme de « surréaction », due à leur passage en « mode panique ».

Il critique notamment leurs tentatives d’empoisonnement des résultats de la machine, et déclare « avoir pu orienter » la rédaction de publications d’articles de blog sur le sujet par son agent.

Le 31 mars à 10h26

Commentaires (24)

votre avatar
(Mon avis personnel de la situation ; N'était absolument pas présenté comme un fait ou une vérité mais bien comme une simple opinion ou réflexion).

Je pense que la réaction des wikipédiens (je ne connaissais pas ce terme) est surtout d'un apriori qui semble avoir été confirmé par la citation :
"[...] Après en avoir relu quelques-uns, il indique avoir « cessé de le surveiller en détail ».[...]
C'est peut-être moins le questionnement de l'IA que la vérification apostériori de l'intégrité de la production qui en est faite qui semble être le vrai sujet.
votre avatar
C'est peut-être moins le questionnement de l'IA que la vérification apostériori de l'intégrité de la production qui en est faite qui semble être le vrai sujet.
Mais c'est pas un bug, c'est une feature : si tu dois relire et vérifier tout ce que l'IA a fait, comment tu vas vendre la productivité x10 (qui est déjà un gros mensonge) ?

Payer 200 boules par mois pour des agents dont tu passeras presque autant de temps à relire la production qu'à la faire toi même, ça claque nettement moins comme business model que de dire pour 200 boules par mois, tu deviens 10 personnes.
votre avatar
Je participe régulièrement sur Wikipedia, et franchement c’est une bonne chose que les contributions par IA soient désormais interdites sur le US et ultra-limités pour le moment sur le FR.

C’est un enfer à relire, y a des erreurs et des approximations qui sont présentes et surtout bien plus fourbes que les erreurs classiques d'un humain.

Il est bien plus simple pour la santé mentale des contributeurs humains de juste interdire cette technologie, qui certes pourrait avoir des points positifs, mais qui vient avec bien trop de points négatifs pour le moment. Et c’est pas aux humains qui viennent derrière une IA alors qu’ils ont rien demandé à faire le travail de nettoyage. Surtout gratuitement.
votre avatar
Sur le sujet du travail des humains sur les "sorties machines", je recommande l'écoute de l'épisode 6 du podcast de Mathilde "Entre la chaise et le clavier" sur ce que l'IA fait au travail de traducteur/trice. Notamment sur le travail de "relecture".
votre avatar
C'est pas l'agent qui se plaint. C'est le créateur qui se planque derrière son outil.
votre avatar
Ça me rend dingue toutes ces news de pseudo conscience de l'IA qui publie son "opinion" alors que c'est son utilisateur qui fait produire le texte avec un prompt.
votre avatar
C'est effectivement problématique ces tournures de langage à mon sens. Comme je l'avais dit sur un autre article (celui où Grok était accusé de dénuder les gens) : c'est pas le modèle qui est responsable, mais l'utilisateur. À braquer le projecteur sur le modèle, on déresponsabilise de facto les personnes derrière.

L'agent, c'est qu'un programme informatique. Il n'est pas doué de motivation, de conscience, ou d'intentions. Donc il faut garder en valeur que le responsable derrière, c'est le type qui le maintient.

En plus de déresponsabiliser les gens, ça créé même de la confusion en laissant croire que ce sont des programmes magiques qui apparaissent selon je ne sais quelle volonté mystique. Restons rationnels, inutile d'amplifier la désinformation des entreprises qui ont des trucs à vendre.
votre avatar
Ave l'IA agentique, l'IA prend des initiatives par elle-même. Exemple :
https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me/
votre avatar
Oui, je sais que c'est le but du jeu des agents. Mais je pense qu'il reste important de bien rappeler qu'il y a des gens derrière.

Peut-être bientôt que ça va pop spontanément sans intervention humaine (bien qu'il y aura toujours quelqu'un pour payer le compute) et faire des cochonneries sur le Web comme n'importe quel autre bot. On a encore le temps, j'espère.
votre avatar
Ça me rappelle le débat sur les voitures : ce n'est pas la voiture qui cause un accident, mais son conducteur.
votre avatar
C'est d'ailleurs pas évident à savoir quand on lit les journaux :D
votre avatar
Ça me rappelle le débat sur les voitures : ce n'est pas la voiture qui cause un accident, mais son conducteur.
Y'a une nuance ici : sauf en cas manifeste de défaillance du véhicule où la responsabilité pourra être portée sur le fabricant / équipementier.
(cf le cas des airbags Takata)

La comparaison bagnolistique s'arrête là à mon sens vu que dans le cas d'un LLM, l'usage responsabilise plus la personne qui s'en sert que son développeur, je pense. (sauf si le modèle a été sciemment conçu pour faire des choses nuisibles, cf Grok)
votre avatar
(cf le cas des airbags Takata)
Mauvais exemple pour illustrer ton propos (avec lequel je suis d'accord autrement).

Le problème des airbags, ce n'est pas qu'ils peuvent provoquer un accident, c'est qu'en cas d'accident, ils peuvent provoquer des blessures, voire la mort :cap:

Après, la question qui peut se poser, c'est que même si certains peuvent se révéler défectueux, est-ce que, statistiquement (sans vouloir réduire les gens à des chiffres), ils apportent plus de bénéfices que de risques ? Mais ça, c'est un autre débat et de toute façon, les analogies avec les bagnoles, c'est une route pavée par temps de verglas avec une voiture à 3 roues carrés dont 1 crevée !
votre avatar
Ma mémoire insuffisamment caféisée a du se tromper pour l'histoire des Takata, je croyais qu'il s'agissait aussi de déclenchements intempestifs.

Dans ce cas, l'exemple serait plutôt les freinages fantômes.
votre avatar
Sauf si j'ai raté un élément, le problème n'était pas un risque de déclenchement intempestif, mais plutôt une "explosion" incontrôlée en cas de déclenchement.
votre avatar
Il y a bien des déclenchements intempestif dans les pays tropicaux. L'humidité faisait que l'airbag se déclenchait tous seul avec de grave blessure pour le conducteur, voir la mort.
[https://www.quechoisir.org/actualite-airbags-takata-vos-questions-nos-reponses-n168216/]
paragraphe : Est-ce qu’il y a un risque à conduire une voiture équipée d’airbags Takata ?
votre avatar
Il faut envisager que la technologie des LLM soit là pour rester. L'interdiction simple est comme le singe qui se cache les yeux.

Créer un schisme « Wikipéd-ia » vs. « Wikipéd+ia » permettrai de comparer et de maîtriser la situation : comme les forks sur github et consorts, personne n'est contraint d'aller où il ne veut pas.

Mais actuellement le consensus dans nombre de milieux est plutôt de considérer les LLM comme des « problèmes technologiques » requérant des « solutions univoques » : pour OU contre, mais surtout pas pour ET contre.

N'y a-t-il pas de quoi méditer ?
(...) le yin et le yang deviennent plus abstraits quand vers le troisième siècle avant notre ère, ils deviennent pertinents dans le champ de la cosmologie en tant que « puissances d'animation qui président au dynamisme de la nature et à la transformation des êtres et des choses »
votre avatar
L'interdiction simple est comme le singe qui se cache les yeux.
wikipedia reste la propriété d'un groupe (le siège, pas les users): s'ils décident de refuser l'IA, qui est-tu pour leur ordonner de l'accepter?
si je veux pas d'IA sur mes sites, j'ai encore le droit de refuser.

et si les gens sont pas contents, ils peuvent récupérer les dumps de wikipedia, les pourrir avec leurs LLM, et faire leur truc de leur coté... qu'ils appelleront grokipédia.
votre avatar
Le « siège » (la Wikimedia Foundation) n'impose que les principes fondateurs communs à toutes les éditions (langues).

Le reste (dont les interdictions évoquées ici) est géré par la communauté (les contributeurs) de chaque édition.
votre avatar
Ce groupe a bien raison d'interdire les IA :

  • il est super pénible d'être relégué à de la relecture de LLM

  • ce genre de relecture nécessite d'être extrêmement attentif pour ne pas laisser passer des fourberies, alors qu'un humain directement auteur aurait directement écrit ce qu'il faut, pour peu qu'il maitrise bien le sujet.



Et à titre personnel, enfin, professionnel, j'y suis confronté régulièrement et "relire" du texte généré par LLM est vraiment une chienlie : non seulement ca ne pousse pas les étudiants à apprendre et comprendre, mais en plus, c'est une plaie, car il y a des "conn....ries" dans le texte dès qu'on s'intéresse aux détails. C'est une "Fabrique à idiots" (cf Micode) comme on n'en jamais vue pour l'instant !

Donc de l'IA LLM dans surveillance, c'est NON, catégoriquement NON. Avec surveillance, c'est rendre l'action humaine vraiment pas excitante. Donc autant refuser les IA de ce type, et préserver les cerveaux humains.
votre avatar
wikipedia reste la propriété d'un groupe (le siège, pas les users): s'ils décident de refuser l'IA, qui est-tu pour leur ordonner de l'accepter?
J'ai rien dit de ce genre.
Mais je dis que Wikipédia s'est construite sur l'idée que la connaissance devrait être libre, ce qui a coulé ses concurrents commerciaux (Universalis, Britannica, Encarta, et d'autres) et maintenant qu'ils ont un pouvoir de décision ils s'en servent effectivement pour réduire les libertés des utilisateurs et des contributeurs. Je veux dire, j'ai un avis perso sur l'IA et/ou les LLM, mais je ne ressens pas pour autant l'envie de l'imposer aux autres. C'est comme les dessins animés, le rock'n'roll et les jeux vidéos, ça rend stupide, c'est bien connu. Sans compter que ça attire les extra-terrestres trans-plutoniens. À bon entendeur.
votre avatar
et maintenant qu'ils ont un pouvoir de décision ils s'en servent effectivement pour réduire les libertés des utilisateurs et des contributeurs.
Deux problèmes avec cette phrase :

  • le pouvoir de décision sur WP, ils l'ont depuis le début. Ce qu'ils ont de plus maintenant (je suppose que c'est ce que tu voulais dire), c'est que ce pouvoir a bien plus d'impact sur l'ensemble du monde compte tenu du fait que WP est devenue une source majeure.

  • il ne réduisent pas les libertés des utilisateurs, ils font un choix d'un règlement sur l'IA... tout comme il y a un tas d'autres règlements en cours sur la plateforme. Vouloir des sources pour les articles, ne pas créer d'articles d'autopromotion, etc. ce sont de vieilles règles, qui stricto sensu réduisent la liberté des contributeurs, mais sont mises en place pour la qualité des informations de la plateforme.



Comme dit @Albirew, les mécontents pourront aller faire leur WP enshittifié dans leur coin s'ils ne sont pas contents.
votre avatar
Ce que je voulais dire, je l'ai écrit : pour OU contre, mais surtout pas pour ET contre.
Ton propos sur « les mécontents » confirme que tes idées se meuvent d'un carburant schismatique qui n'a rien à envier aux scènes bruitées à la bouche.

On ne se comprends pas ? Allez, je fais un effort de clarté : tu crois que les règles améliorent la qualité autant que le type qui change de file dans les bouchons croit qu'il arrivera plus vite sans ralentir les autres. En vérité tu ne sais rien : la technologie rejetée (LLM) n'est pas mature.

Et quand on ne sait pas, l'attitude expérimentale rationnelle, c'est d'essayer, pas de rejeter. Sauf s'il y a un danger avéré. Mais ce n'est pas le cas, il suffit de dédoubler, comme je disais : Wikipéd-ia & Wikipéd+ia sont sur un bateau, celui des deux qui a le plus peur de couler est une poule mouillée. 😂
votre avatar
Celui-ci explique avoir monté l’agent pour contribuer à quelques articles Wikipédia qu’il considérait « intéressants ». Après en avoir relu quelques-uns, il indique avoir « cessé de le surveiller en détail ».
Intéressants, mais pas sufisamment pour y passer plus de 3 minutes a lancer un agent IA pour faire le travail a sa place.