En janvier 2023, des e-mails vieux de vingt ans font surface. On y lit le philosophe Nick Bostrom, alors directeur du Future of Humanity Institute de l’université d’Oxford, écrire que « les noirs sont plus stupides que les blancs ». Nick Bostrom est influent dans plusieurs cercles d’importance, dans le monde de l’intelligence artificielle, notamment les milieux de l’altruisme effectif et du long-termisme.

Confronté publiquement, l’homme s’excuse pour sa correspondance raciste. Il le fait d’une telle manière, cela dit, que d’autres personnalités du monde de l’intelligence artificielle, comme la linguiste Emily Bender, s’insurgent : pour elle, Bostrom s’est débrouillé pour reformuler son injure initiale.

Après cet épisode, Emile Torres s’est entretenu avec divers adeptes du long-termisme. « À peu près chaque fois, ils m’annonçaient qu’ils n’étaient pas racistes, rapporte le philosophe à Next. Ça les énerve. » Le progressisme lui-même a des racines eugénistes, pointe-t-il, « ça ne veut pas dire qu’il faut continuer de promouvoir ces idées-là, ni que le futur doit être déterminé par des idées eugénistes. »

• Transhumanisme, long-termisme… des idéologies aux racines eugénistes ?

Mis face à cette question, sourit-il, les réactions sont généralement divisées. « Certaines personnes vont fermement réfuter le fait que les idéologies TESCREAL sont racistes », ce qui n’empêchera pas leurs liens avec les thèses eugénistes d’exister. « Et d’autres, comme Peter Thiel ou le mouvement réactionnaire, seront complètement ok avec le fait d’être raciste. Elon Musk lui-même est plutôt raciste. »

TESCREAL, comme nous l’expliquions dans notre article précédent, est un acronyme derrière lequel Emile Torres et l’éthicienne de l’intelligence artificielle Timnit Gebru rassemblent divers courants de pensée influents dans la Silicon Valley : le transhumanisme, l’extropianisme, le singularitarisme, le cosmisme (moderne), le rationalisme, l’altruisme effectif et le long-termisme.

Dans un article récemment publié dans la revue First Monday, ils exposent comment la recherche d’un être « posthumain » à la « superintelligence » et la quête d’une intelligence artificielle « générale » peuvent être reliés à certaines idées au fondement du mouvement eugéniste du tournant du XXe siècle. Ils y alertent, aussi, sur la manière dont des concepts de « sûreté de l’intelligence artificielle » (AI safety) et de recherche du « bien de l’humanité » permettent en réalité à ces mouvements d’influer sur les priorités de développement en IA et de se soustraire aux obligations de rendre des comptes au plus grand nombre.

« De nombreuses personnes travaillant sur l’intelligence artificielle générale ne sont peut-être pas conscientes de leur proximité avec les points de vue et les communautés TESCREAL », préviennent d’emblée les deux scientifiques. Contestant la scientificité de la course à une « intelligence » artificielle « générale », les deux universitaires appellent à la promotion de modèles d’intelligence artificielle précisément définis, testables, et construits d’une manière qui les rendent réellement sécurisables.

L’alignement, au cœur du paradoxe

Soit utopie, soit apocalypse : les membres des idéologies TESCREAL n’entrevoient que deux possibilités pour le futur.

Dans la première, toutes les promesses techno-utopistes de dépassement de l’humain sont remplies. Dans ce cas-là, la promesse d’une intelligence artificielle générale (Artificial General Intelligence, AGI) permettra de « résoudre plus de problèmes du monde réel, ce qui contribuera progressivement à un système qui, un jour, aidera à résoudre tous les autres problèmes », selon les mots du directeur de recherche de DeepMind, Koray Kavukcuoglu. Pour des cosmistes comme Ben Goertzel, ces projets techno-utopistes sont même une promesse de « croissance et de joie au-delà de ce dont les humains sont capables ».

Dans la seconde, l’humanité parvient aussi à créer une ou des intelligences artificielles générales, mais celles-ci ne sont pas « alignées » avec nos « valeurs humaines », écrivent Gebru et Torres, citant plusieurs TESCREAListes. Dans les communications des entreprises engagées dans la course à l’intelligence artificielle ou de leurs promoteurs – OpenAI, par exemple, qui a créé en 2023 une équipe dédiée au « superalignement » – ces valeurs sont rarement explicitées précisément.

Et c’est bien là le problème : de quelles valeurs est-il question ? À qui échoit le rôle de les définir ? De quel droit ?

Quelles que soient les réponses à ces questions, relèvent Gebru et Torres, « selon un certain nombre de leaders du mouvement TESCREAL, nous avons l'obligation morale de travailler à la réalisation du monde techno-utopique que l'AGI pourrait apporter, et de faire tout ce qui est en notre pouvoir pour empêcher un scénario d'extinction impliquant une AGI « non-alignée ». »

La course en avant des systèmes non définis

Cette obligation « morale » de poursuivre un but bi-face a un effet bien concret : celui qui s’est déroulé sous les yeux du public tout au long de l’année 2023, avec une cacophonie d’annonces relatives à des avancées dans le champ de l’IA (notamment générative), en parallèle d’appels largement repris à la pause de la course à l’intelligence artificielle.

Cette opposition est parfois réalisée par les mêmes personnalités. Ainsi du chercheur en IA et président du Future of Life Institute (organisation privée, proche de feu le Future of Humanity Institute d’Oxford) Max Tegmark, qui, en 2017, déclarait lors de la conférence Effective Altruism Global : « Si nous n'améliorons pas notre technologie, nous sommes condamnés… mais avec la technologie, la vie peut prospérer pendant des milliards d’années. » Trois ans plus tard, il co-signait l’une des multiples lettres appelant à faire une pause dans la course à l’AGI à des fins de sécurité.

Ou d’Elon Musk, qui, au même mois de mars 2023, déposait les statuts pour sa société x.AI et signait le très médiatique appel à une pause de six mois dans la course à l’intelligence artificielle.

En pratique, estiment Gebru et Torres, la course 1) à une intelligence artificielle générale, 2) qui soit alignée avec de supposées « valeurs humaines » a lancé une course à la construction de systèmes algorithmiques théoriquement capables de résoudre n’importe quelle tâche.

DeepMind et OpenAI ont commencé par se concentrer sur des systèmes d’apprentissage par renforcement. Puis la création des Transformers a provoqué le déplacement des forces vers les grands modèles de langage. Des chercheurs en vue, comme le vice-président de Google Blaise Agüera y Arcas et l’informaticien Peter Norvig, ont affirmé en 2023 que « certains des composants les plus importants de l’AGI avaient été atteints grâces aux LLM ».

Cela a aussi conduit à la création de systèmes toujours plus consommateurs de ressources, que celles-ci consistent en données d’entraînement ou en matériaux et énergies, mais aussi toujours plus créateurs de problématiques sociales. Autant d’éléments sur lesquels Gebru et ses consœurs alertaient déjà en 2021, mais qui, au prisme des idéologies TESCREAL, peut être justifiable vu le potentiel utopique des AGI.

Et, de fait, leurs créateurs continuent d’estimer que « ce n’est qu’une question d’échelle ! », c’est-à-dire qu’il faudrait toujours plus gros et plus grands pour résoudre les diverses problématiques soulevées par la communauté scientifique et le reste de la société. Sauf que cette logique de « toujours plus » conduit à des impasses écologiques et sociales que nous documentons régulièrement dans ces pages et qui doivent être supportées par le plus grand nombre. À en croire le récent rapport AI Index publié par l’Institute for Human-Centerd Artificial Intelligence de Stanford, l’impasse pourrait aussi être financière, et même concerner les masses de données disponibles.

• • Les modèles d’IA généralistes sont beaucoup plus énergivores que les spécialisés

Le piège de l’« AI safety »

En réalité, selon Gebru et Torres, le vocabulaire de la « sécurité de l’IA » (AI safety) agit en deux temps. Il permet d’abord d'attirer des ressources vers la construction de leurs systèmes, qui créent ensuite toutes sortes de problématiques sociales et environnementales. Il sert ensuite à dissuader les enquêtes trop précises sur ces problématiques, « en détournant l’attention et les ressources vers la lutte contre une hypothétique apocalypse de l’IA ».

De fait, la confiscation des moyens au profit d’une très petite minorité est nette. Non seulement OpenAI est évaluée à plus de 100 milliards de dollars et Anthropic à plus de 18 milliards de dollars, mais l’écart de salaires entre leurs concepteurs et les travailleurs du clic – sans qui ces technologies ne fonctionneraient pas – est immense.

• • Des Kényans payés moins de 2 dollars de l’heure pour entraîner ChatGPT

• • Le remplacement des travailleurs par l’IA, un récit peu nuancé

Les investissements d’entités comme la fondation Open Philanthropy, cofondée par Dustin Moskovitz, ont aussi « permis de légitimer la course à l’AGI », écrivent encore Gebru et Torres. Cela a poussé de nombreux étudiants et praticiens, « qui ne sont peut-être pas alignés sur les idéaux utopiques de TESCREAL » à s’efforcer « de faire progresser l'agenda de l'AGI parce qu'il est présenté comme une progression naturelle dans le domaine de l’IA ». L'influence s'est aussi étendue dans les cercles de pouvoirs, par le biais de ces mêmes organisations, aux États-Unis comme en Europe.

Par ailleurs, pointent les universitaires, quand bien même ces sociétés déclarent œuvrer au « bénéfice de l’ensemble de l’humanité », certains promoteurs des idéologies TESCREAL suggèrent que l’intelligence artificielle générale soit développée par une « petite avant-garde de super-programmeurs et d'uber-scientifiques d’élite », selon les mots de Ben Goertzel. Vocabulaire qui, pour les deux scientifiques, reflète l’attitude des eugénistes de la première vague, qui utilisaient des tests de QI et divers autres outils pour déterminer qui était « apte » à diriger la société.

En l’occurrence, continuent les deux auteurs, lorsque des entreprises présentent leurs systèmes comme une étape vers l’AGI, ou que leurs promoteurs demandent si ces machines sont capables d’apprendre une forme de moralité, « ils détournent l'attention de la responsabilité des organisations de créer des produits répondant à certaines exigences, ou de protéger le bien-être des travailleurs impliqués dans le processus, pour discuter des systèmes d'IA comme s'ils existaient par eux-mêmes ».

• • IA : les « modèles de fondation » et leur index de transparence critiqués

Une thèse cohérente avec celle portée par le physicien et critique de l’intelligence artificielle britannique Dan McQuillan. Celui-ci, dans une intervention auprès du CNRS en janvier, qualifiait la manière dont l’intelligence artificielle opère actuellement dans le monde d’ « état d’exception algorithmique ».

De quelle sécurité parle-t-on ?

Quel que soit le modèle auquel on s’intéresse, l’absence de standards sur les performances d’un système d’intelligence artificielle pensé pour remplir n’importe quelle tâche – comme sur ce que définirait son « intelligence » – a conduit l’experte Heidy Khlaaf à déclarer « l'évaluation des risques et de la sécurité [de ces modèles] difficile à réaliser, en raison du nombre considérable d'applications et, par conséquent, des risques que celles-ci présentent ».

• • Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

En définitive, pour Timnit Gebru et Emile Torres, la course à l’intelligence artificielle « générale » n’est pas une « marche inévitable et inarrêtable vers le progrès technologique, fondée sur des principes scientifiques et techniques rigoureux », mais plutôt une entreprise floue poussée par les adeptes des idéologies TESCREAL.

En ce sens, les idées de sécurité de l’intelligence artificielle et d’ « alignement » de l’IA sont problématiques en elles-mêmes. Elles consisteraient à s’assurer que les « valeurs » du système supposé intelligent soient alignées avec « nos » valeurs, et à éviter que ces machines ne posent des « risques existentiels », comme l’explique Sam Altman sur le blog d’OpenAI.

• • Des militants protestent contre l’usage d’IA à des fins militaires et la possibilité d’une IA générale

Pour les deux auteurs, la course à une intelligence artificielle générale est problématique en ce qu’elle reprend les mêmes principes et un projet similaire d’ « amélioration » de la population humaine que la première vague eugéniste.

« Nous demandons instamment aux chercheurs en IA de cesser de chercher à construire un système dont même les partisans de l’intelligence artificielle générale reconnaissent qu'il n'est pas bien défini », écrivent Gebru et Torres. Pour plutôt promouvoir la poursuite des travaux sur des systèmes « précis, bien définis, et qui priorise la sécurité des personnes ».

• IA : Prompt injection, empoisonnement… de quoi on parle ?