L’intelligence artificielle générale (AGI) est-elle un réel idéal ? Est-ce un idéal bénéfique pour la majorité ? Faut-il continuer de financer la recherche pour la création d’une telle entité supposée dépasser les capacités humaines quand, dans le même temps, ceux qui y œuvrent alertent sur les dangers d’une AGI « non-alignées » avec les valeurs de l’humanité ?

Lorsqu’on creuse ce paradoxe, on tombe rapidement sur différents courants de pensée qui animent depuis plusieurs années la Silicon Valley. Transhumanisme, altruisme effectif, long-termisme… Le monde technologique baigne dans ces mouvements qui irriguent, en particulier, la recherche en intelligence artificielle la plus en vue.

Si ces mouvements sont débattus depuis longtemps, la critique s'accentue depuis plusieurs mois. Elle est notamment portée par les alertes de l’ingénieure Timnit Gebru et le philosophe Emile Torres, qui alertent sur les liens idéologiques que ces courants entretiennent avec un mouvement plus ancien : l’eugénisme. Dans un article tout juste paru dans la revue First Monday, les deux scientifiques relient les idées au fondement des TESCREAL (un acronyme qui réunit transhumanisme, Extropianisme, singularitarisme, cosmism, Rationalisme, Altruisme Effectif et long-termisme) à celles de ce courant dont les idées ont irrigué les démocraties européennes au tournant du XXe siècle, et qui en a motivé les heures les plus sombres.

« De nombreuses personnes travaillant sur l’intelligence artificielle générale ne sont peut-être pas conscientes de leur proximité avec les points de vue et les communautés TESCREAL », préviennent d’emblée Gebru et Torres.

• AGI, GPAI, modèles de fondation… de quoi on parle ?

Les principaux promoteurs des courants TESCREAL « ont été très efficaces en termes de stratégie, explique Émile Torres à Next. Ils ont été super bons pour trouver les meilleures manières d’atteindre leurs buts », en se positionnant dans des universités influentes (comme Oxford, au Royaume-Uni, qui vient tout juste de fermer le Future of Humanity Institute dirigé par le philosophe Nick Bostrom depuis vingt ans), en attirant des financements et en détournant l’attention trop précise des régulateurs. 


Résultat, écrit-il avec Timnit Gebru : « Les idéologies TESCREAListes sont le moteur de la course à l’AGI, même si toutes les personnes associées à l'objectif de construction de l'AGI ne souscrivent pas à ces visions du monde. » Contestant la scientificité de la course à une « intelligence » artificielle « générale », les deux universitaires appellent à la promotion de modèles d’intelligence artificielle précisément définis, testables et construits d’une manière qui les rend réellement sécurisables.

• L’Université d’Oxford ferme le Future of Humanity Institute dirigé par Nick Bostrom

Un acronyme pour les rassembler tous

Ingénieure électrique de formation, travaillant dans le domaine de la tech depuis bientôt vingt ans, « dont plus de dix dans le domaine de l’intelligence artificielle », Timnit Gebru est connue pour avoir co-signé l’article « À propos des dangers des perroquets stochastiques : les modèles de langages peuvent-ils être trop gros ? » qui alertait dès 2020 contre les problèmes posés par les grands modèles de langage (LLM). Cette publication lui a valu d’être licenciée de l’équipe d’éthique de l’intelligence artificielle de Google, bientôt suivie par sa consœur Margaret Mitchell.

• • Dangers des grands modèles de langage : des chercheuses avaient prévenu

Emile Torres, lui, est philosophe, historien, et a été un partisan des idéologies TESCREAL « pendant près de dix ans avant de quitter le mouvement ». Pour soutenir leur réflexion, les deux chercheurs ont analysé des sources primaires émises par la plupart des têtes de proues des idéologies en questions, ont enquêté sur le parcours, les travaux, les croyances de ces personnes ainsi que sur leurs connexions dans le domaine financier.

Ils se sont penchés sur la littérature relative à l’eugénisme, au transhumanisme et aux autres phénomènes en question. Ils indiquent enfin s’être entretenus avec des ingénieurs, étudiants, enseignants, investisseurs et journalistes pour affiner leurs réflexions.

Or, à force de voir émerger les sept mêmes courants de pensée au gré de leurs recherches, Gebru et Torres expliquent avoir imaginé l’acronyme TESCREAL tant pour les rassembler que pour en faciliter la citation. « Une fois cette étape franchie, il est apparu que la conceptualisation de ces idéologies comme constituantes d’un mouvement unique, cohérent et s'étendant sur les trois dernières décennies était justifiée par des considérations historiques, sociologiques et philosophiques. »

Aux racines des idées TESCREAL

Prenons donc une approche historique. De ce point de vue, dans la tradition occidentale, on retrouve des idées eugénistes jusque chez Platon et Aristote. Pour autant, le mouvement eugéniste en lui-même est issu du travail de Francis Galton, qui s’inspire alors de son cousin Charles Darwin. L’anthropologue britannique crée le terme eugénisme en 1883, affirme que les capacités humaines sont héréditaires, et encourage à créer une « race d’hommes très doués » par des mariages spécifiques cultivés sur plusieurs générations.

L’eugénisme prend, en réalité, deux formes. La positive consiste à améliorer les traits considérés « désirables » dans la population. La négative consiste à réduire la part de la population considérée « inadaptée » dans le total, une logique qui se traduit directement dans les programmes de stérilisation forcée dont les premières occurrences sont tournées contre les populations noires et mexicaines et remontent aux années 1910 en Californie. Ces programmes ont inspiré les logiques d’« hygiène raciale » développées par le régime nazi jusqu’à commettre l’Holocauste.

Les stérilisations forcées, elles, ont perduré dans les colonies françaises puis les DOM jusqu’à l’époque où, dans la métropole, les femmes se battaient pour obtenir le droit à l’avortement. À l’heure des pénuries de pilule abortive, le sujet continue même de faire controverse.

Gebru et Torres qualifient ces tendances de « première vague » de l’eugénisme. Avec les technologies, une deuxième vague émerge : plus besoin de s’embarrasser de générations pour atteindre le but fixé par Galton, la technique permet de « sélectionner » des gènes, de « designer » des enfants avec des traits phénotypiques ou d’intelligence particuliers, voire de se modifier soi-même radicalement.

Sept courants relatifs à la fin des temps

C’est là que surgit le « T » de TESCREAL : le mouvement transhumaniste, qui déclare qu’une « amélioration humaine » radicale est non seulement désirable, mais possible. Dans sa version récente (le terme remonte aux années 1940), notamment portée par Nick Bostrom, le courant suppose que permettre aux individus de choisir librement des « améliorations » permettrait de créer une espèce « posthumaine », qui disposerait de capacités telles qu’une « durée de vie » indéfiniment longue, des capacités cognitives et une rationalité accrue, etc.

À la fin des années 1980, le mouvement Extropien est le premier rassemblement organisé de transhumaniste. Bostrom le fréquente avant de créer, en 1998, l’association transhumaniste mondiale (World Transhumanist Association, WTA), aujourd’hui connue sous le nom de Humanity +.

Le Singularitarisme émerge en parallèle, au tournant du millénaire. Ses promoteurs les plus célèbres sont Ray Kurzweil, qui a prévu en 2005 que la singularité technologique aurait lieu en 2045, et Eliezer Yudkowsky, qui a de son côté écrit en 2014 qu’elle aurait lieu… l’an prochain. La singularité peut être entendue comme le point où le progrès technologique deviendrait si rapide qu’il créera une rupture fondamentale dans l’histoire humaine, voire, selon Kurzweil, cosmique. Elle peut aussi être entendue comme une « explosion d’intelligence », où les algorithmes atteignent un niveau d’auto-amélioration qui leur permettent de devenir « superintelligents ».

Transhumaniste, ancien du mouvement extropien et fondateur de SingularityNET.io, Ben Goertzel publie de son côté, en 2010, un « Cosmist manifesto ». Il y considère que la fusion de l’humanité aux technologies permettrait le développement d’IA sensibles (sentient) et de technologies de téléchargement de l’esprit.

Rationalisme est le nom que se donne une communauté centrée autour du blog LessWrong (« moins faux ») créé en 2009 par Eliezer Yudowsky. Il s’agit là principalement de s’« entraîner » au rationalisme, avec une connivence affichée pour les idées transhumanistes et singularistes, et notamment la possibilité d’une explosion d’intelligence.

Quant à l’Altruisme Effectif et au longtermisme, il s’agit des courants qui ont le plus fait parler d’eux dans les années récentes. Si le premier cherche initialement à appliquer les principes du rationalisme pour faire le « plus de bien possible » avec un nombre fini de ressources, une part non négligeable de ses membres en vue ont déplacé leur attention vers des problématiques concernant le lointain futur de l’humanité. Dérivant de ces réflexions, le long-termistes considère précisément que si c’est dans le futur que nous créerons le plus de « valeur », alors autant se concentrer dessus. Pour plusieurs longtermistes, dont Nick Bostrom, William MacAskill ou Toby Ord, devenir post humain est un élément essentiel pour atteindre le « potentiel » de l’humanité « à long terme ». Il en va de même pour la colonisation de l’espace et la maximisation de la « valeur ».

• • Milliardaires de la tech : pourquoi altruisme efficace et longtermisme font-ils débat ?

Si Torres et Gebru réunissent ces sept courants, c’est qu’ils leur trouvent plusieurs correspondances. Tous émanent des idées transhumanistes, pour commencer. Tous ont des convictions eschatologiques, c’est-à-dire relatives à la fin des temps. « Comme dans des religions comme le christianisme, elles prennent deux formes : utopiques ou apocalyptiques », écrivent Gebru et Torres, avec l’idée d’un paradis construit grâce à l’ingénierie. En substance, l'utopie sera atteinte lorsque l'humanité aura réussi à construire des êtres surintelligents (par exemple des intelligences artificielles générales) « alignées » avec les valeurs humaines, l'apocalypse le sera si ces créatures émergent et ne sont pas alignées avec le « bien de l'humanité ».

Les deux chercheurs constatent par ailleurs une grande circulation des personnes entre les différentes catégories. Nick Bostrom en est un bon exemple. Mais c’est aussi le cas de Sam Altman, CEO d’OpenAI, qui s’est déclaré influencé par les rationalistes, les altruistes effectifs, est transhumaniste et promeut des idées de colonisation de la galaxie. Elon Musk peut aussi, selon les deux scientifiques, être qualifié de transhumaniste dans la mesure où son entreprise Neuralink vise spécifiquement à mêler esprit et intelligence artificielle, où il est très influent auprès de la communauté rationaliste, a fondé et co-fondé diverses sociétés dédiées à créer une intelligence artificielle générale et décrit lui-même le long termisme comme quelque chose de « proche de sa philosophie ».

Outre ces exemples, le fondateur de Skype et cofondateur du Centre for the Study of Existential Risk Jaan Tallinn, le (co-)fondateur de Facebook, Asana et investisseur Dustin Moskovitz, le (co-) fondateur de PayPal, Palantir et investisseur Peter Thiel, le créateur d’Ethereum Vitalik Butlerin ou encore le fondateur de Netscape et investisseur Marc Andreessen font partie de la galaxie de personnalités qui circulent dans les mouvements TESCREAL. Tous des hommes, blancs, des mêmes générations, du même type d’éducation (hauts diplômes, de la même poignée d’universités) et de la même zone géographique, relevait déjà la spécialiste de l'IA Zoe Cremmer, lorsqu’elle critiquait l’importance prise par le concept flou d’ « intelligence » dans la communauté altruiste effective.

Un aperçu du transhumanisme en France

Comme le précisent très tôt Gebru et Torres, il ne s’agit pas, en décryptant les circulations des idées présentes dans ces mouvements, de mettre toutes les personnes qui travaillent sur des projets poussés par ces personnalités dans le même panier. Il ne s’agit pas non plus de fondre tous les adeptes des différents courants de pensée pré-cités dans une même masse.

Au niveau local, par exemple, s’il est difficile de s’attaquer précisément à chaque variante du groupe TESCREAL, la docteure en sociologie Cécilia Calheiros a spécifiquement travaillé sur la traduction francophone du mouvement transhumaniste.

Elle y constate, comme dans les divers noms cités jusqu’ici, une quasi exclusivité d’hommes, « très fortement diplômés, en moyenne à bac + 5, avec souvent un parcours d’ascension sociale » parmi les tenants du transhumanisme. Elle relève l’existence de deux principaux courants : ceux qui œuvrent « à une évolution du monde et de l’espèce humaine au long terme », en se plaçant expressément dans le champ politique, et les bodyhackers, « qui cherchent plutôt à vivre l’augmentation humaine ici et maintenant », avec un recours aux neurotropes « pour être plus efficaces, dans une logique de productivité intellectuelle et d’efficacité ».

D’un côté comme de l’autre, Cecilia Calheiros souligne que le catastrophisme n’est pas tellement présent : les transhumanistes « sont plutôt dans une attitude très positive, pleine d’espoir » pour l’évolution de l’humanité. Dans un sens, pointe-t-elle, ces idées « résonnent beaucoup avec des courants plus grands public de la quête de la meilleure version de soi-même, qu’on trouve dans des pratiques comme le yoga, la méditation ou les routines d’optimisation de soi ».

Quant à la question de l’eugénisme, elle admet qu’il est « compliqué de ne pas en voir une forme » dans le discours porté par ces courants, qui défendent une forme d’eugénisme « libérale, perçue comme positive : une exacerbation des traits positifs de l’humain, plutôt que la suppression de la population porteuse de traits négatifs ».

Le problème avec le QI

Cette quête des « traits positifs » est au cœur des enjeux soulevés par Gebru et Torres. Couplée aux évolutions technologiques, c’est elle qui justifie la quête d’êtres post humains intelligents ou « super-intelligents », quand bien même cette notion d’ « intelligence » n’est jamais précisément définie. C’est elle aussi qui justifie la préoccupation de certaines des personnalités pré-citées pour la notion de quotient intellectuel (QI).

Or, d’après Gebru et Torres, l’obsession pour les tests de QI est l’un des éléments qui participe à lier les idéologies TESCREAL à l’eugénisme. Dans sa première vague, indique-t-il, le courant a fonctionné sur des principes de discriminations extrêmes. Les personnes considérées « inadaptées » étaient très largement qualifiées de « défectueuses », « imbéciles », « invalides congénitales », mais aussi catégorisées à l’aide des fameux tests de QI. Or, une large part des spécialistes de l’eugénisme considéraient les blancs supérieurs aux noirs, et ont construit leurs outils en intégrant cette distinction (ce qui alimente la critique de la scientificité de ces logiques de quantification de l’intelligence).

Quand, ensuite, on se penche sur le champ scientifique de l’intelligence artificielle, Gebru et Torres relèvent que la définition de l’ « intelligence » que l’on cherche à reproduire n’est pas tellement précise. Si l’expression a repris de l’importance, au début du XXIe siècle, c’est notamment grâce à l’ouvrage Artificial General Intelligence, co-dirigé par Cassio Pennachin et Ben Goertzel et paru 2006. Les auteurs eux-mêmes y soulignent que « l'intelligence générale n'a pas exactement la même signification pour tous les chercheurs » et qu'il ne « s'agit pas d'un terme entièrement bien défini ».

• • Apparemment, c’est le board d’OpenAI qui décidera « quand l’IA générale sera atteinte »

Quand bien même la population mondiale continue de croître, une personnalité comme Elon Musk s’inquiète ainsi régulièrement du déclin de la population. Il dit aussi, publiquement, que les gens « intelligents » devraient avoir plus d’enfant. Comme le traduit le journaliste Paris Marx, si le chef d’entreprise agit comme si la population se réduisait, c’est qu’il ne s’intéresse qu’à un segment précis de la population... celui de la population blanche.

Et Gebru et Torres de pointer que, faute de définitions précises, ce sont précisément ces idées fondamentalement discriminantes et héritées des mouvements eugénistes qui restent dans le champ de l'intelligence artificielle. En pratique, cela dit, comment ces dernières ont-elles influencé le champ scientifique ? C’est ce que nous détaillons dans un second article.