L’université d’Oxford a mis fin aux dix-neuf ans d’exercices du Future of Humanity Institute. Fondé en 2005, initialement pour trois ans, et dirigé par le philosophe suédois Nick Bostrom, l’institut était dédié à la recherche interdisciplinaire sur des thématiques désormais en vogue dans la Silicon Valley, comme le long-termisme et l’altruisme effectif.

Parmi ses plus gros soutiens financiers, l’Institut a compté Elon Musk, qui lui a versé une donation d’un million de dollars en 2015 par l’intermédiaire de sa structure sœur Future of Life Institute, une organisation non gouvernementale qui a son existence indépendante. L’institut installé à Oxford pouvait aussi compter sur les soutiens de l’Open Philanthropy Project, cocréé par le cofondateur de Facebook Dustin Moskovitz, d’assureurs, du Conseil européen de la recherche, ou, donc, du fameux Future of life institute présidé par l’influent chercheur en IA Max Tegmark.

• AGI, GPAI, modèles de fondation… de quoi on parle ?

Un institut « précurseur »

De cinq personnes à sa création, l’institut de recherche a eu le temps de croître au-delà de la soixantaine de membres, avant que l’Université d’Oxford ne gèle les embauches et les levées de fonds en 2020, puis annonce fin 2023 qu’elle ne renouvellerait pas les contrats des équipes restantes.

Auprès du Guardian, un représentant de l’Université indique que la réévaluation des structures les plus adéquates pour la recherche fait partie de son processus de gouvernance classique. « L’université reconnaît la contribution importante de l’institut pour ce champ émergent, que des chercheurs continueront certainement ailleurs dans l’université », a-t-il précisé.

Nick Bostrom a démissionné de l’Université d’Oxford en même temps que l’institut était fermé. Au média britannique, il a décrit par mail une « mort par bureaucratie », accélérée par la nécessité de se conformer à l’organisation administrative universitaire : hébergé par la faculté de philosophie, la majorité des équipes était constituée de chercheurs non-philosophes. Une explication que certains critiques qualifient de légère.

Quoi qu'il en soit, l'équipe de recherche s’intéressait à une variété de sujets, parmi lesquels la gouvernance de l’intelligence artificielle, la sécurité de l’IA (AI safety) et les « esprits numériques » (« quels types de calculs sont conscients et quels esprits numériques ont quel type de statut moral ») tenaient une bonne place.

En 2020, Bostrom expliquait ces enjeux à CNBC en pointant trois types de risques liés à l’intelligence artificielle : l’IA pourrait faire quelque chose de mal aux humains, les humains pourraient se faire du mal en utilisant l’IA (ce que l’actualité illustre déjà), et les humains pourraient faire du mal à l’IA (en admettant, dans ce dernier cas, que ces technologies obtiennent une sorte de statut moral). C’est via le premier et le dernier axe qu’entrent toutes les réflexions sur de potentielles IA générales.

Multiples scandales dans la sphère de l’altruisme effectif

Devenu célèbre pour ses réflexions sur les « risques existentiels » posés par l’intelligence artificielle, son directeur a obtenu les louanges de Bill Gates, Sam Altman ou, donc, Elon Musk, pour ses travaux, dont son livre à succès Superintelligence (Dunod, 2017).

Pour autant, la fermeture de son institut par Oxford vient s’ajouter à des mois de scandales. Certains impliquent assez largement les courants de l'altruisme effectif et du long-termisme, comme le scandale financier du milliardaire des cryptoactifs Sam Bankman-Fried. À mesure que les enquêtes sur les activités de l’entrepreneur se déployaient, il est devenu clair que différentes personnalités phares du mouvement, comme le philosophe William MacAskill ou le CEO d’Open Philanthropy Holden Karnofsky avaient reçu diverses alertes sur le comportement de Bankman-Fried sans réagir.

• • Milliardaires de la tech : pourquoi altruisme efficace et longtermisme font-ils débat ?

En février 2023, le Time Magazine a par ailleurs mis au jour des affaires de harcèlement sexuel, favorisées par le fonctionnement autarcique, voire « sectaire », d’une partie de la communauté altruiste effective de la Silicon Valley. Plusieurs femmes ont témoigné de pressions à accepter des relations qui ne leur convenaient pas, voire de cas d’agressions sexuelles.

D'autres sont plus directement liés à Bostrom : d’anciens e-mails ont réémergé dans l’espace public en 2023, dans lesquels on peut lire le scientifique qualifier les personnes noires de « plus stupides que les blanches ». Le scientifique a formulé des excuses, mais leurs formulations, notamment la phrase « Est-ce que je soutiens l’eugénisme ? Non, pas de la manière dont le terme est généralement compris » a suscité de nouvelles critiques.

Les révélations sur ses e-mails ont conduit Oxford à lancer une enquête officielle. Des groupes majeurs du courant altruiste effectif comme le Centre for Effective Altruism, cofondé à Oxford par Will MacAskill et le philosophe Toby Ord, ont par ailleurs pris leurs distances avec le scientifique.

• • À quoi ça ressemble, l’éthique de l’IA en entreprise ?