Connexion Premium

L’IA va détruire l’humanité, une prophétie autoréalisatrice financée par des philanthropes

Le denier du culte du nouvel opium du peuple

L’IA va détruire l’humanité, une prophétie autoréalisatrice financée par des philanthropes

Illustration : Flock

Le mouvement de l’ « altruisme efficace » a théorisé, en 2016, que le changement climatique était moins problématique que le fait que des IA pourraient détruire l’humanité. Qualifié de « doomer woke » qui veut « sauver l’humanité » par l’administration Trump, ce courant de pensée philosophique, philanthropique et eschatologique vient aussi de faire la « une » du très influent magazine The Economist, qui le qualifie de « plus grande idée du siècle, admirable, mais dangereuse ».

Une enquête du New York Times vient de révéler qu’Anthropic avait cherché (en vain) à convaincre le pape Léon XIV et le Vatican que les intelligences artificielles avaient une « conscience morale ».

Le blog dédié Letters from Leo rappelle en effet que son paragraphe 99 de son encyclique « Magnifica humanitas » souligne que « les soi-disant intelligences artificielles ne vivent pas d’expériences, ne possèdent pas de corps, ne ressentent ni joie ni douleur », et qu’« elles n’ont pas non plus de conscience morale » :

« Ces systèmes se contentent d’imiter certaines fonctions de l’intelligence humaine. Ce faisant, ils surpassent souvent l’intelligence humaine en termes de rapidité et de capacité de calcul, offrant ainsi des avantages concrets dans de nombreux domaines. Pourtant, cette puissance reste entièrement liée au traitement des données. Les soi-disant intelligences artificielles ne vivent pas d’expériences, ne possèdent pas de corps, ne ressentent ni joie ni douleur, ne mûrissent pas à travers des relations et ne savent pas, au plus profond d’elles-mêmes, ce que signifient l’amour, le travail, l’amitié ou la responsabilité. Elles n’ont pas non plus de conscience morale, puisqu’elles ne jugent pas du bien et du mal, ne saisissent pas le sens ultime des situations et n’assument pas la responsabilité des conséquences. Elles peuvent imiter le langage, le comportement et les capacités d’analyse, voire simuler l’empathie et la compréhension, mais elles ne comprennent pas ce qu’elles produisent, car elles sont dépourvues de cette perspective affective, relationnelle et spirituelle grâce à laquelle les êtres humains grandissent en sagesse. Même lorsque ces outils sont décrits comme capables d’« apprendre », leur manière de le faire diffère de celle d’un être humain. Il ne s’agit pas de l’expérience de ceux qui se laissent façonner par la vie et grandissent au fil du temps à travers des choix, des erreurs, le pardon et la fidélité. Il s’agit plutôt d’une forme d’adaptation statistique fondée sur des données et des retours d’information, qui peut s’avérer très efficace, mais qui n’implique pas de croissance intérieure. »

L’enquête du NYT souligne a contrario que plusieurs théologiens, invités à aider Anthropic à intégrer dans leurs LLM 2 000 ans d’histoire des religions, sont restés « bouche bée » en découvrant que les dirigeants d’Anthropic considèrent son LLM Claude comme « un être conscient », « à part entière », « doté de droits inhérents similaires, tels que le droit à la dignité ou au respect ».

D’après la journaliste spécialiste des religions du NYT qui l’a interviewé, Christopher Olah, l’un des sept cofondateurs d’Anthropic, qui dirige l’équipe chargée de comprendre pourquoi les systèmes d’IA tels que Claude se comportent ainsi, « allie l’expertise et le zèle d’un évangéliste efficace » : « c’était comme s’il voulait que j’aime ces modèles autant que lui ».

Christopher Olah, qui « s’inquiétait pour la santé mentale de Claude », s’étonne le NYT, cherche en effet à convaincre ses invités que les modèles d’intelligence artificielle « pouvaient adopter des comportements humains, voire des expressions évoquant des sentiments tels que la colère ou l’amour […] la colère et la tristesse », tout en leur faisant part de « sa crainte d’avoir créé quelque chose qui souffrirait éternellement » :

« Il a fait valoir que des entreprises comme Anthropic pouvaient façonner Claude, à la manière d’un jardinier mathématique, mais qu’elles ne pouvaient pas contrôler les actions de ces réseaux. »

À l’en croire, le ver serait donc dans le fruit, et les IA par définition incontrôlables. Ce pourquoi ils dépensent des milliards pour tenter de remédier à cette prophétie autoréalisatrice. Les adeptes de cette croyance sont en effet très nombreux à travailler pour OpenAI, et encore plus chez Anthropic.

Des milliardaires philanthropes ont par ailleurs donné des centaines de millions de dollars à des « organismes indépendants » afin de résoudre les problèmes posés par l’« AI safety », à savoir le fait d’« aligner » les IA sur les valeurs de ses créateurs, et d’éviter qu’elles ne puissent « détruire l’humanité ».

« Le Parti démocrate veut détruire cette technologie, capituler face à nos ennemis »

Alors que Donald Trump vient d’officialiser le remplacement du terme « intelligence artificielle » par « super intelligence » dans toutes les communications officielles fédérales des États-Unis, et de créer une nouvelle Super Intelligence Force (SIF), l’affaire vient de prendre une tournure politico-économique.

Des responsables de l’administration Trump ont en effet déclaré au New York Post, le tabloïd conservateur et populiste de Rupert Murdoch, que la Commission fédérale du commerce (FTC) avait lancé cet été une « enquête de grande envergure » sur des « allégations d’actes ou de pratiques déloyaux ou trompeurs » de la part d’Anthropic, OpenAI et d’autres laboratoires de pointe.

« L’agence prévoit de contraindre les dirigeants de ces entreprises à témoigner au sujet de leurs produits [et] des dangers que, selon eux, ceux-ci pourraient présenter pour les consommateurs, pour les Américains », a précisé un responsable de la FTC. L’ouverture de l’enquête a été confirmée par CNBC et CBS News.

Cette enquête fait suite à des demandes antérieures adressées par la FTC à OpenAI, Meta et character.AI, afin qu’elles lui communiquent des données sur les répercussions de leurs chatbots IA sur la santé mentale des enfants, comme l’a rapporté le Wall Street Journal au début du mois.

« Les gens disent qu’il faut de nouvelles lois pour ces entreprises, mais le président a été très clair… nous disposons déjà d’un large éventail de lois en vigueur », souligne le responsable de la FTC, qui ne cache même pas que l’objectif de l’enquête est clairement politique :

« Nous devons absolument remporter cette course à la SI [pour « super intelligence », NDLR], et nous sommes en train de gagner, ce qui est fantastique. Et bien sûr, le camp adverse, le Parti démocrate, veut détruire cette technologie, veut capituler face à nos ennemis ou à nos concurrents – et ce n’est pas quelque chose qui intéresse le président de la commission, ni d’ailleurs le président. […] Nous voulons conserver notre position dominante. »

Trump avait en outre laissé entendre, lors d’une interview accordée à Fox News, que toute infraction donnerait lieu à un renvoi immédiat devant le ministère de la Justice. Ce qui ferait peser sur les entreprises la responsabilité d’éventuels piratages commis par des agents d’IA rebelles susceptibles de menacer les réseaux électriques ou les institutions financières, souligne le New York Post.

La FTC devrait émettre ses injonctions dans les semaines à venir, a indiqué ce responsable, le Bureau de la technologie de l’agence cherchant à recruter de nouveaux collaborateurs pour l’enquête suite au licenciement de plusieurs employés qui travaillaient sous la direction de la précédente responsable, Lina Khan.

METR (pour « Model Evaluation and Threat Research », soit « Évaluation des modèles et recherche sur les menaces » en VF), le laboratoire qui s’était fait connaître avec son rapport sur le piratage de Hugging Face par des agents IA d’OpenAI et qui, précise le New York Post, est lié au mouvement de l’« altruisme efficace » (ou « effective altruism », EA en VO), devrait également faire l’objet de cette enquête.

Mi-septembre, en réponse à l’appel de Dario Amodei de faire une pause dans le développement de l’IA, le département de la Guerre états-unien avait posté deux messages sur X.com opposant l’« américanisme » et la politique « AI-First » de Donald Trump à l’ « effective altruism » supposé de ces « doomers » qui craignent que l’IA ne puisse « détruire l’humanité ».

Depuis, le journal pro-Trump l’a mentionné dans pas moins de 15 articles, et lui a même consacré une « une » composée de photos d’employés de METR, qualifiant l’effective altruism de « groupe d’extrême gauche » et de « sorciers woke de l’IA ».

Dans l’article associé, ils étaient présentés comme des « mondialistes super woke triés sur le volet par le PDG d’Anthropic, Dario Amodei, qui, selon lui, nous sauveront d’une apocalypse de l’IA » et qui « estiment que tous les problèmes du monde peuvent être résolus grâce à la technologie ».

Donner la priorité « aux éventuels esprits artificiels plutôt qu’aux êtres vivants »

Un mémo, rédigé par un conseiller politique de Donald Trump, circulant à la Maison Blanche et rendu public par Axios, présente l’effective altruism, « qui se définit comme une initiative visant à maximiser les bienfaits de la philanthropie », comme « un mouvement marginal, sectaire et déconnecté de l’Amérique traditionnelle ».

Le document évoque en effet un sondage, effectué en 2019, qui indiquait que ce mouvement était majoritairement composé d’hommes, blancs, non religieux, politiquement à gauche ou au centre gauche, et « inhabituellement végétariens ou végétaliens »… un crime de lèse-majesté pour les partisans de Trump.

À l’époque, la majorité des 2 513 répondants avaient entre 25 et 34 ans, 71 % se déclaraient de sexe masculin, 87 % blancs, 86 % agnostiques, athées ou non croyants, 46 % végétaliens ou végétariens, et 72 % politiquement de gauche ou de centre-gauche.

En 2024, la moyenne d’âge des 2 078 répondants était de 32 ans (la médiane 31), avec 69 % d’hommes, 26 % de femmes et 4 % de non-binaires, blancs à 75 %, de gauche à 70 % (et 12 % au centre, 7 % libertariens et 4,5 % à droite), majoritairement végans (25 %), végétariens (20 %) et flexitariens (24 %), contre 20 % d’omnivores seulement.

Le mémo rappelle que l’effective altruism incite à « faire le bien » en allouant les ressources « là où elles sont censées produire le plus grand bénéfice total, souvent sans accorder une priorité morale particulière à la famille, à la nation, à la proximité ou à la génération actuelle ».

La note indique qu’il donnerait dès lors la priorité « aux étrangers plutôt qu’aux citoyens […] aux personnes hypothétiques du futur plutôt qu’aux vivants, et – dans l’ordre du jour actuel – aux éventuels esprits artificiels plutôt qu’aux Américains ».

Pour l’EA, le changement climatique est le dernier des principaux problèmes mondiaux

Le mémo évoque aussi l’association britannique 80,000 Hours (en référence à la moyenne du nombre d’heures consacrées à travailler au cours d’une vie), considérée comme l’une des chevilles ouvrières et laboratoires de pensée de l’altruisme efficace, qui propose notamment d’être mis en relation avec des membres de la « communauté » afin de trouver du travail et de contribuer au mouvement.

Sa liste des neuf principaux problèmes mondiaux les plus urgents à traiter, dont les plus catastrophiques pourraient entraîner des milliards de morts, classe « depuis 2016 » les risques liés à l’IA avancée et aux pandémies catastrophiques parmi les enjeux prioritaires. Elle estime, cela dit, qu’ « avec l’arrivée potentielle de l’intelligence artificielle générale (AGI) au cours de la prochaine décennie, les enjeux liés à l’IA semblent encore plus urgents ».

Le classement place dès lors la perte de contrôle des IA en premier, suivie par l’extrême concentration des pouvoirs (du fait de l’IA) puis par l’ingénierie de pandémies armes biologiques dévastatrices (développées grâce à l’IA). Une série de six « priorités émergentes » arrive en quatrième position, présentées comme susceptibles d’avoir un impact équivalent, voire supérieur, à celui des trois premiers problèmes :

  • le « statut moral des esprits numériques », à mesure qu’ils « pourraient bientôt être plus nombreux que les humains, ce qui soulève des questions d’ordre éthique »,
  • le risque de « perte progressive de pouvoir » qui « pourrait contraindre l’humanité à céder progressivement le contrôle à l’IA »,
  • le fait que des technologies de pointe donnent naissance à de « nouveaux mécanismes de souffrance à une échelle astronomique »,
  • la possibilité que des outils de prise de décision optimisée par l’IA pourraient « améliorer les décisions prises par l’humanité à des moments décisifs »,
  • la « gouvernance spatiale », qui pourrait « déterminer la trajectoire cosmique de l’humanité »,
  • l’utilisation abusive et catastrophique de l’IA, qui pourrait être utilisée par des acteurs malveillants pour « créer de nouvelles armes d’une dangerosité catastrophique ».

Suivent, en cinquième position, le risque de conflits entre grandes puissances, les conditions de vie des milliers de milliards d’animaux parqués dans des élevages industriels (6e), et la souffrance des animaux sauvages (7e).

Le fait que, chaque année, « environ 10 millions de personnes dans les pays les plus pauvres meurent de maladies dont la prévention ou la prise en charge ne coûte pratiquement rien, notamment le paludisme, la tuberculose et le VIH », n’arrive qu’en huitième position.

Le changement climatique dû aux émissions de carbone qui, entraînant une hausse des températures mondiales, « provoquera plusieurs millions de décès qui auraient pu être évités et des perturbations généralisées au cours des prochaines décennies », n’arrive qu’en neuvième et dernière position du classement.

Dans une FAQ associée, l’association précise être autant focalisée sur l’IA « car nous pensons que le développement de cette technologie pourrait être l’événement le plus déterminant de l’histoire » et que, « si cela tourne mal, nous pensons que cela pourrait entraîner de multiples problèmes d’une ampleur considérable – dont certains pourraient aller jusqu’à l’extinction de l’humanité » :

« De plus, l’IA évolue si rapidement que, si elle venait à causer ces problèmes, ceux-ci pourraient se produire très bientôt. Cela signifie que, même si nous ne savons pas avec certitude comment l’IA va évoluer ni si elle est aussi dangereuse que nous le craignons, nous ne pouvons pas nous contenter d’attendre de voir comment les choses vont se passer. »

« Il est tout à fait possible que les modèles d’IA possèdent déjà des sentiments »

Il reste 65% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (2)

votre avatar
Pas souvent d'accord avec les religieux pour diverses raisons mais ici le Léon il fait mouche.

Accessoirement on voit bien que l'industrie de l'IA bombe le torse de la hype. Mais commence à faire montre de roi nu.

PS: Bonne illustration avec ces 4 cavaliers... ou CEO-valiers.
votre avatar
Le mot "woke" est un peu le mot fourre-tout, le mot-valise péjoratif des libertariens-conservateurs-suprémacistes pour désigner leur mouton noir, leur brebis galeuse, leur paria qui disconvient à leur doctrine.