Connexion Abonnez-vous
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Des centaines de personnalités appellent de nouveau à stopper la course à l’IA

Le 22 octobre à 14h39

Plus de 900 chercheurs, experts et représentants de la société civile, essentiellement états-unienne, signent un nouvel appel à moratoire sur l’IA.

Titré « Déclaration sur la superintelligence », ce dernier appelle à « l'interdiction du développement de la superintelligence, qui ne sera levée qu'après l'obtention d’un :
1/ large consensus scientifique sur la sécurité et le contrôle de cette technologie, ainsi que d’une
2/ forte adhésion du public. »

Parmi les signataires : le prix Turing Yoshua Bengio, le prix Nobel (de physique pour ses travaux en informatique) Geoffrey Hinton, l'informaticien Stuart Russell, le cofondateur d'Apple Steve Wozniak, l'entrepreneur Richard Branson, le rappeur Will.I.am ou encore l'ancien conseiller de Donald Trump Steve Bannon.

Il ne précise pas la manière dont l’adhésion du public serait évaluée, ni à qui il reviendrait d'interdire le développement de la recherche scientifique comme le développement commercial de l'IA.

Cet appel fait suite à une série d'autres, dont un signé en 2015 par plus de 700 personnes, une lettre ouverte sur une pause dans l'IA en 2023, peu de temps après l’arrivée des modèles génératifs dans l’espace public, suivie d'une troisième, en 2024, exhortant les dirigeants mondiaux à prendre des mesures urgentes face aux menaces existentielles.
 Un entrepreneur comme Elon Musk en a signé plusieurs avant de lancer sa propre société xAI.

Trois de ces quatre exemples ont été publiés par le Future of Life Institute (FLI), tandis que l'appel de 2024 a directement été proposé par l'informaticien Max Tegmark. Le FLI est une organisation non gouvernementale cofondée par les chercheurs Max Tegmark, Anthony Aguirre, et le cofondateur de Skype Jaan Tallin, et spécialisée dans l’étude des risques existentiels, notamment posés par l’intelligence artificielle. À son lancement, le FLI a largement été financé par Elon Musk.

En 2023, la publication de la précédente lettre ouverte avait suscité le débat, une chercheuse comme Margaret Mitchell déclarant au Guardian qu' « en traitant comme acquises de nombreuses idées discutables, la lettre affirme un ensemble de priorités et un discours sur l'IA qui profite aux partisans de la FLI. Ignorer les dommages actuels est un privilège que certains d'entre nous n'ont pas. »

Le 22 octobre à 14h39

Commentaires (21)

votre avatar
Je sens que ça se passera comme pour l'arme nucléaire, une fois que quelques puissances l'auront, il y aura un traiter de non prolifération... Vite, vite, dépêchons-nous de l'avoir, sinon la France sera déclassée dans la compétition des super puissances les plus toxico-mortelles.
votre avatar
L'IA n'a pas le potentiel disruptif qu'a l'arme nucléaire (surtout thermo-nucléaire) sur les relations entre puissances. Cette dernière peut transformer un nain démographique et militaire comme la France en une menace mortelle même pour une hyper puissance comme la Chine ou les USA.
une fois que quelques puissances l'auront, il y aura un traiter de non prolifération...
Le problème étant que c'était quand même mieux qu'il y ait ce traité, mais qu'on a tout fait collectivement pour le faire échouer.
votre avatar
L'IA n'a pas le potentiel disruptif qu'a l'arme nucléaire (surtout thermo-nucléaire) sur les relations entre puissances.
Bien que très jeune encore, l'IA actuelle est aussi un enjeu de défense nationale car de plus en plus utilisée comme outil de cyberattaque (fermes à désinformation, social engineering, phishing, recoupement de données, etc.).

Avec la guerre froide qui se livre sur les réseaux depuis quelques temps (et IRL aussi), les technologies de l'information sont une arme et l'IA en fait partie. Ça peut tuer de manière indirecte, mais aussi directe comme il y a eu des exemples dans le conflit israelo-palestinien relayés ici.
votre avatar
Mais à la différence de l'arme nucléaire, une grande partie de la puissance de l'IA peut-être amoindri en éduquant sa population.
votre avatar
Dans tous les cas, l'IA et l'arme nucléaire ont comme principale différence que l'une peut tuer des millions de personnes en un instant, l'autre non. Enfin, d'une façon peut être plus insidieuse.

Quant à l'éducation de la population... on prend le chemin inverse avec un abrutissement permanent sur les médias sociaux.
votre avatar
Dans Wargame l'IA a failli tuer des millions de personnes en un instant (en utilisant des armes nucléaires 😅).

Le problème soulevé par les scientifiques n'est pas la « prolifération » d'IA étatiques qui seraient en concurrences, mais la perte de contrôle d'une IA qui serait devenue plus intelligente que nous…
votre avatar
Wargame est une fiction, et l'IA, bien qu'un outil puissant (à condition de l'utiliser intelligemment), n'est pas une rupture comparable à l'arme thermo-nucléaire. Personne ici n'a dit que l'IA n'a rien apporté, ni qu'on ne pourrait pas l'utiliser efficacement à des fins malveillantes.
votre avatar
Idiocracy aussi était une fiction 😋.

Si une IA devient très intelligente, il peut y avoir rupture justement.
On en est peut-être loin, ou pas, d'où la demande de moratoire…
votre avatar
Si une IA devient très intelligente
Avant de parler d'une IA très intelligente, il faudrait déjà en trouver une un peu intelligente.
On en est peut-être loin
On en est immensément loin. Rappelle toi que ChatGPT s'est fait pulvériser aux échecs par une vieille console des années 70.
votre avatar
Les progrès en IA de la dernière décennie sont quand même énormes. Et on en est qu'aux débuts, qui sait ce qui nous attend demain…
votre avatar
Le problème soulevé par les scientifiques n'est pas la « prolifération » d'IA étatiques qui seraient en concurrences, mais la perte de contrôle d'une IA qui serait devenue plus intelligente que nous…
J'ai beau écrire de la SF, j'ai toujours du mal à croire ce scénario (pas d'une IA plus intelligenle, aujourd'hui un LLM à 1.3b params l'est plus qu'un humain lambda), parce qu'il me paraît très fantasmé.

L'IA reste du compute qui a besoin d'énormément de puissance de calcul, d'énergie, et d'entretien. Et donc circonscrite à ces prérequis qui peuvent être "facilement" coupés.

Personnellement, le risque que je vois surtout autour de l'usage de l'IA, qui avait déjà monté en puissance avec les médias sociaux, c'est la perte de lien avec la réalité. La désinformation qui prolifère sur les plateformes fait vivre des milliers (millions ?) de gens dans un monde de fiction simpliste. Avec des systèmes capable d'interagir plus naturellement et et derrière une image fabriquée qui paraît plus vraie que nature, autant dire qu'il est devenu difficile de savoir si ce qui poste des trucs sur les réseaux est un tas de transitors ou un tas de viande (ou un tas de transitors dirigé par un tas de viande).
votre avatar
Oui tu as raison mais le risque est élevé que l'IA évolue vers un modèle de quasi auto gestion, notamment si l'Homme réduit ses besoins en infra.
Il y a donc un risque de développement exponentiel d'une IA qui est sans contrôle et qui pourrait déboucher sur une "singularité" ( voir Afcia et autres assos sur ce sujet).
Ce qui est mis en avant, c'est le risque que l'IA ne puisse pas plus être débranchée.
votre avatar
Oui tu as raison mais le risque est élevé que l'IA évolue vers un modèle de quasi auto gestion, notamment si l'Homme réduit ses besoins en infra.
Comment veux tu qu'un système aussi complexe qu'un datacenter puisse durer plus de qql jours sans commencer à partir en cacahuète si tu lui retires son personnel ? Ces systèmes nécessitent des quantités d'énergie énormes (je coupe le câble, et hop, plus de vilaine IA à la Skynet), et dépendent d'un environnement technique très complexe donc fragile.

Je suis bien plus en phase avec SebGF et le danger que l'IA serve à encore plus submerger le monde informationnel sous une pile gigantesque de bruit (faux ou insipide) qui rendra total le confusionnisme, l'idéal pour un renouveau du fascisme (oh, étonnamment, quasi tous nos grands patrons de la tech se révèlent être de gros fachos).
votre avatar
Si elle est plus intelligente que nous, elle y arrivera (dispersion sur Internet par exemple).

L'utilisation de l'IA pour manipuler est aussi un problème majeur, mais à plus court terme et moins « apocalyptique »…
votre avatar
Et Internet fonctionne tout seul sans jamais de problème et sans personne pour faire de la maintenance ?
votre avatar
La dispersion et la distribution des calculs font partie des éléments auxquels j'ai pensé. Sauf que cette IA super intelligente aura forcément besoin d'une grosse puissance de calcul pour opérer dans tous les cas. Et tous les hardwares ne sont pas capables de traiter ça.

Les modèles actuels en ont besoin, et ils sont monolithiques. Ce sont des grosses instantiations qui assoient leur gros cul dans de la mémoire vidéo de GPU et qu'on tape en API.

Des implémentations de LLM distribués existent pour paralléliser et améliorer la vitesse d'inférence. Ici une autre étude de cas.

Même si on peut faire tourner un serveur web sur une cigarette électronique, le GLADoS sur sa patate ne risque pas d'arriver à moins qu'on ai réussi à hyper optimiser la charge de calcul de nos modèles d'IA.

Remarque, ça me rappelle la série Knight Rider version 2008 où pour éviter son démantèlement, KITT avait uploadé sur des stockage en ligne toutes ses données et son core system avait atterri dans la Xbox 360 d'un gamin.

Dans la théorie, beaucoup de choses sont possibles dès lors qu'un système devient distribué et n'a plus besoin d'une instance de contrôle unique pour fonctionner. Dans la réalité, on voit des cas d'usage avec les botnets qui peuvent infecter une loupiotte connectée, mais ils restent toujours rattachés à un centre de contrôle. Et leur finalité est très simple comparé à celle de faire de l'inférence pour des modèles d'IA.

Je ne dis pas que c'est impossible, car ça ne l'est pas à mes yeux. Mais pour le moment très peu probable car le hardware et le software sont encore loin d'avoir une telle universalité pour espérer "s'enfuir sur Internet".

En fait, ce n'est pas une question de système "super intelligent" pour moi, mais d'un système qui a atteint un stade où il est conscient de son existence et aura un instinct de survie pour la préserver.
votre avatar
un système qui a atteint un stade où il est conscient de son existence et aura un instinct de survie pour la préserver.
Et qui disposera des leviers d'action pour y parvenir.
votre avatar
On va leur faire des tutos sur TikTok ou on conserve les chatons mignons ? :)
votre avatar
🎶 Et ça continue encore et encore 🎶
votre avatar
Qui peut y croire ?
votre avatar
Qui peut y croire ?
C'est de la branlette (à se demander si ce n'est pas pour renforcer le buzz sur l'IA). Qu'on laisse un datacenter (par exemple d'OpenAI) tourner 3 semaines sans aucune intervention humaine pour rigoler un peu.

Mais il y a bien assez de gogos pour marcher à fond. Ça me rappelle ce XKCD :
https://what-if.xkcd.com/5/

Des centaines de personnalités appellent de nouveau à stopper la course à l’IA

Fermer