Jacob Coxon est un chercheur spécialisé en intelligence artificielle, passé par deux mastodontes du secteur : OpenAI puis Anthropic. Sa déclaration fait les gros titres et joue sur la peur : « J’ai démissionné d’Anthropic aujourd’hui. J’ai passé les trois dernières années à faire de la recherche sur le pré-entrainement des modèles à la fois chez OpenAI et Anthropic. Aucune des deux entreprises n’agit de manière responsable. Ils foncent droit vers une superintelligence auto-améliorée et jouent avec nos vies ».

Quand Terminator joue à WarGames dans la matrice

« Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup de marketing », affirme-t-il. Dans le secteur, le marketing de la peur est pourtant une pratique courante. Evan Hubinger, responsable de l’alignement chez Anthropic, abonde : « Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! Je pense personnellement que c’est >10 % dans la prochaine décennie ».

Les mots sont forts – « tuer tous les humains » – et repris en boucle dans les médias. Dans un long et intéressant billet sur LinkedIn, Didier Heiderich (ingénieur et président de l’Observatoire International des Crises), revient sur un point souvent passé sous silence sur cette déclaration : d’où vient ce chiffre, 10 % ? Pour faire simple, d’une estimation personnelle au doigt mouillé. « Un chiffre suivi du signe % ne transforme pas l’inconnu en risque mesuré », explique-t-il :

« Annoncer aujourd’hui plus de 10 % de probabilité que l’intelligence artificielle provoque l’extinction de l’humanité avant 2036 ne relève pas, en l’état de nos connaissances, d’une évaluation quantitative du risque. Il s’agit d’un jugement appliqué à une chaîne causale constituée pour une large part d’hypothèses concernant un système qui n’existe pas encore. »

Le risque, selon Jacob Coxon, ne vient pas des modèles actuels, mais de ceux à venir. Mais quel risque ? Sur une extinction de masse des humains (même s’il serait plus juste de parler d’effondrement de civilisation), on pense souvent à une guerre mondiale nucléaire ou à un virus mortel qui se transmettrait facilement. Et encore, dans les deux cas, ce ne serait probablement pas la fin de l’humanité.

Les IA pourraient aussi prendre une autre voie, avec des attaques coordonnées et ciblées d’agents. Ce n’est pas de la science-fiction, Hugging Face en a fait les frais. Alexei Grinbaum, directeur de recherche au CEA-Saclay et spécialiste des questions d’éthique, n’est pas surpris, comme le rapporte Libération : « C’est un modèle de laboratoire qui était à l’œuvre, un modèle non aligné qui peut faire tout un tas de choses bizarres pour atteindre l’objectif que l’on lui a donné […] tout se passe comme s’il existait une autorité centrale qui persiste même lorsque les agents individuels sont débranchés. C’est stupéfiant ».

• Anthropic et la stratégie marketing de la peur autour de sa nouvelle IA Mythos (2/3)
• OpenAI : haute voltige marketing autour de l’attaque contre Hugging Face
• Le storytelling autour de la sécurité des agents IA a « perdu le contact avec la réalité »
• [Édito] Quatre modèles d’IA « échappent » à leurs constructeurs : vous le faites exprès ?

Ce qui inquiète notamment les chercheurs est l’auto-amélioration récursive, c’est-à-dire la capacité pour un modèle de s’améliorer et de concevoir seul un modèle plus performant. Cela pourrait conduire à un emballement sur les générations de modèles d’IA avec des difficultés croissantes à gérer l’alignement, à savoir les gardes-fous des modèles… À moins que ces garde-fous soient de la poudre aux yeux. Selon l’expert Tom David, « quasiment personne ne travaille vraiment sur l’alignement » dans les grandes entreprises que sont OpenAI, Anthropic et Google DeepMind.

Difficile de savoir ce qu’il en est puisque les entreprises ne publient aucun chiffre. Pire encore, en 2024, Ilya Sutskever et Jan Leike quittaient OpenAI, alors qu’ils supervisaient l’équipe chargée de contrôler les IA (Superalignement). En cause, l’absence d’accès aux capacités de calculs promises. Ils ne pouvaient donc pas mener leur mission, l’entreprise privilégiant l’entraînement des modèles dans la course folle à l’IA générale.

Nouveau volte-face d’OpenAI ce 9 septembre, avec l’arrivée de Paul Christiano au conseil de l’OpenAI Foundation : « Paul a défendu un point de vue qui prend au sérieux la possibilité que l’IA avancée présente des risques catastrophiques et la nécessité pour les développeurs de se préparer avant que les systèmes n’atteignent des niveaux de capacité plus dangereux », explique le communiqué.

Sur X, il précise sa pensée : « Je crois désormais qu’il existe un risque significatif qu’une accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible à très court terme ». Il est pessimiste sur l’avenir : « Je ne pense pas que l’industrie de l’IA en général, y compris OpenAI, soit actuellement sur la bonne voie pour réduire ce risque à un niveau acceptable ». Sa voix sera-t-elle entendue ? Pas certain car, comme l’explique OpenAI, « il siégera comme observateur sans droit de vote ».

Les risques dont il est question sont documentés depuis des années par la science-fiction. De Terminator à Matrix, en passant par I, Robot, WarGames et Dune (pour son Jihad Butlérien) pour ne citer qu’eux. Ce n’est pas pour autant qu’ils n’existent pas, bien au contraire ! Le passé montre que nous sommes déjà plusieurs fois passés très près d’une catastrophe et il y en aura d’autres, auxquels il convient d’ajouter l’IA générative qui n’est pas une variable d’ajustement, mais un vecteur de risque supplémentaire. En effet, les risques sont réels et l’IA générative peut jouer le rôle d’amplificateur, avec pour principal rempart les décisions humaines et la régulation… même si ce n’est pas forcément gagné sur les deux points. Ces affirmations méritent des explications.

Jusqu’à présent, la chaine de décision était assez simple : la machine remonte des informations potentiellement erronées à un humain qui doit prendre une décision plus ou moins rapidement (parfois quelques minutes seulement). Avec l’IA générative, le risque évolue : des milliers d’agents pourraient agir de concert avec des capacités de perception et d’analyse bien plus rapides que celles des humains. Ils restent théoriquement dans la boucle, mais deviennent en pratique dépassés. On pourrait presque parler d’une attaque DDoS sur une personne.

Il reste 73% de l'article à découvrir.

Déjà abonné ou lecteur  ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous