Mojahid Mottakin – Unsplash Plusieurs dizaines de personnes ont manifesté le 12 février devant les bureaux d'OpenAI, critiquant ses récents contrats avec le Pentagone comme la création d'une potentielle intelligence artificielle générale.
Quelques dizaines d’activistes des associations PauseAI et NoAGI se sont réunis devant les bureaux d’OpenAI à San Fransisco en début de semaine. Les messages qu’ils brandissaient : « ne faites pas confiance à Sam Altman » et « la survie avant les profits », rapporte Bloomberg.
Les manifestants s’inquiètent du changement opéré par l’entreprise leader de l’intelligence artificielle générative en matière de contrats dans le domaine militaire. Ils militent aussi contre le risque d’une potentielle intelligence artificielle générale (AGI).
Série de manifestations contre les contrats militaires
En janvier, OpenAI a en effet supprimé la mention de l’interdiction de créer des applications « militaires et de défense » à partir de ses outils. Au forum économique mondial, la vice-présidente d’OpenAI aux affaires internationales Anna Makanju a ensuite expliqué que son entreprise travaillait à plusieurs projets avec le Pentagone. La société participe notamment au AI Cyber Challenge initié en 2023 par la DARPA pour aider à « sécuriser les logiciels les plus critiques de la nation » états-unienne.
S’il vise spécifiquement la question de l’intelligence artificielle, le mouvement fait échos à d’autres mobilisations récentes : en décembre, des employés et des personnes extérieures à Google ont par exemple manifesté contre la poursuite du « projet Nimbus », un contrat que l’entreprise a passé avec le gouvernement israélien, à destination de son armée.
Absence de limites des constructeurs d'IA
Auprès de Bloomberg, la coorganisatrice de la manifestation et fondatrice de l’association Pause AI Holly Elmore a toutefois déclaré que le problème était bien plus large que les seuls contrats militaires signés par OpenAI. « Si leurs règles d'éthique et de sécurité peuvent être révisées pour des raisons de convenance, ils ne sont pas dignes de confiance », écrivait-elle dans l’événement Facebook organisant le rassemblement.
Et l’activiste de faire le parallèle entre le revirement d’OpenAI en matière de contrats militaires et la manière dont Sam Altman a déclaré, l’année dernière, que le board de son entreprise devait être capable de le licencier – pour revenir à la tête de la société au bout de cinq jours quand le cas s’est effectivement présenté. L’entreprise a aussi notoirement modifié sa copie en matière d’open source, sur lequel elle est définitivement revenue à la sortie de son modèle GPT-4.
Inquiétudes face à une potentielle AGI
Pause AI milite pour un arrêt des tentatives de construire des IA « de frontière » (terminologie proposée en juillet par OpenAI pour désigner les hypothétiques machines capables de dépasser les humains) tant que ces outils ne pourront pas être sécurisés. L’entité s’inquiète notamment des risques présents de ce type de technologies – en particulier relatifs aux fake news, à la polarisation des débats et aux menaces que cela fait peser sur les débats démocratiques. Elle s’inquiète des pertes d’emplois que l’expansion de ces technologies, des risques qu’elles créeraient aux mains de régimes autoritaires, et de ses effets en matière militaire.
Elle reprend aussi le discours porté par les signataires des divers appels lancés l’année passée pour mettre en place des moratoires sur l’IA, et signés par des personnalités des mondes scientifiques et entrepreneuriaux. En substance, Pause AI alerte donc sur les risques qu’aurait l’IA d’« exterminer » l’humanité. Cela peut s’expliquer par le parcours d’Holly Elmore, qui a longuement travaillé à des projets de protections des animaux au sein d’entité relevant de l’altruisme effectif, dans la mesure où une partie de ce courant s’est peu à peu spécialisée dans l’étude des risques existentiels, en particulier provoqués par l’IA.
Tout aussi inquiet d’un dépassement de l’humanité par les machines, NoAGI se concentre plus spécifiquement sur la « menace psychologique » que poseraient les IA générales. Menée par Sam Kirchner, l’entité milite pour un arrêt pur et simple des travaux sur la question.
Les deux se retrouvent dans un discours en faveur de la régulation du milieu. Aux États-Unis, le cadre fixé à l’industrie prend pour le moment la forme d’un décret signé fin octobre par le président Biden. Le texte impose de rares obligations, notamment en matière de sécurité, et demande un engagement volontaire des entreprises concernées.
Commentaires (17)
#1
Et dire qu'on n'est seulement aux débuts de l'ère des IA... ça promet pour 2050 (la fameuse "singularité technologique"
Historique des modifications :
Posté le 16/02/2024 à 11h24
Il faudrait réguler l'utilisation des IA tout comme on régule l'utilisation des données personnelles (même si la régulation de ces dernières est plutôt très permissive). Mais quoi qu'il en soit il faut des garde-fous et des limites aux usages et finalités des IA. Un peu comme ce que s'est efforcée de faire la bioéthique.
#1.1
#2
Historique des modifications :
Posté le 16/02/2024 à 12h51
ça va finir par un "Connors ? Sarah Connors ?" ou les battles droid de Star Wars
#2.1
#3
Ils doivent trembler !
S'ils avaient demandé sur quel réseau social organiser leur manif à une IA, elle n'aurait probablement pas proposée Facebook mais TikTok !
Quant aux décisions que pourraient prendre une IA en matière militaire, seraient-elles meilleures ou pires que celles que pourrait prendre Trump ? Vaut-il mieux une IA ou une CN (Connerie Naturelle) ?
#3.1
Disons qu'une IA peut avoir des réactions très... inattendue.
J'ai en tête une IA militaire avait un objectif (comme détruire l'ennemi) et qui pouvait recevoir des consignes d'un centre de contrôle (comme l'annulation de la mission).
L'IA, afin de mener au mieux sa mission, avait tendance à détruire le centre de contrôle pour ne pas recevoir un ordre qui l'empêcherait de remplir son objectif.
Je doute que Trump (ou n'importe qu'elle autre être humain, aussi imprévisible soit-il) prenne ce genre de décision
#3.2
En tout cas, je n'envisageais pas une IA qui commande directement des armes ou des hommes, mais qui aidait à la décision.
#3.3
Je vais essayer de retrouver la source (j'avais chercher rapidement pour mon précédant commentaire, sans retrouver).
[edit]
j'ai retrouvé !!!!
Historique des modifications :
Posté le 16/02/2024 à 15h53
C'est malheureusement une vraie histoire. Les simulations n'étaient que des simulations numériques (heureusement !), mais le résultat était là.
Je vais essayer de retrouver la source (j'avais chercher rapidement pour mon précédant commentaire, sans retrouver).
Posté le 16/02/2024 à 15h55
C'est malheureusement une vraie histoire. Les simulations n'étaient que des simulations numériques (heureusement !), mais le résultat était là.
Je vais essayer de retrouver la source (j'avais chercher rapidement pour mon précédant commentaire, sans retrouver).
[edit]
j'ai retrouvé !!!!
#3.4
#3.5
Alors oui, il y a eu un démenti sur le sujet, de la part de l'armée et du colonel Hamilton (le speaker à l'origine de l'info).
Maintenant, et sans virer dans le conspirationnisme, je vois mal une armée, quelle qu'elle soit, avouer faire des simulations et annoncer officiellement des résultats aussi... surprenants. On est donc dans la situation suivante :
- tests n'ont pas eu lieu => probable
- les tests ont eu lieu, mais sont niés => probable
- les tests ont eu lieu et sont officialisés => très peu probable
On est donc dans une situation où il me parait délicat de croire de manière fiable le démenti.
Il faudrait avoir une vidéo de l'intervention pour se faire une idée précise. Mais les détails donnés, les formulations rapportées me font pencher pour une expérience réelle plutôt que fictive ou de pensée.
Et j'avoue que quand je lis ceci "He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated)", j'ai sérieusement du mal à le croire.
Si on rajoute qu'il s'agit de l'armée américaine, pays plus ou moins habitué à propager de fausses informations volontairement quand il en va de leurs intérêts (par exemple, les armes de destructions massives pour justifier la guerre en Irak).
Pour terminer, j'avais vu cette information initialement dans un article sur les défis des IA, et notamment les stratégies surprenantes qu'une IA pouvait mettre en oeuvre (et le coup de la pause pour le jeu était sans doute cité car il me parle !). Cette stratégie "inhabituelle" était tout à fait du même acabit que d'autres dans d'autres domaines.
#3.6
En fait, le plus important dans cette histoire c'est que c'est vraisemblable et qu'il faut faire attention à garder le contrôle d'une IA et de lui donner des limites fortes.
Par exemple, ici, lui apprendre qu'une mission peut changer et que ça fait partie des règles. Qu'il ne faut faire aucune action dans le but d’empêcher l'arrivée du contre-ordre.
Et ça doit nous rendre très prudents dans l'utilisation de l'IA dans les véhicules autonomes qui peuvent être des machines à tuer.
HS/poing dev : Vos 2 avatars, pseudos et horodatages de commentaires sont centrés au lieu d'être à gauche. Qui a cassé le site ? (Firefox ESR ici si ça joue et qu'un dev passe par là)
Édit : pas de soucis pour mon commentaire.
Historique des modifications :
Posté le 17/02/2024 à 10h03
On est pile dans le thème de l'édito d'hier. C'est un cas où c'est compliqué de vérifier. Tu as très bien expliqué pourquoi.
En fait, le plus important dans cette histoire c'est que c'est vraisemblable et qu'il faut faire attention à garder le contrôle d'une IA et de lui donner des limites fortes.
Par exemple, ici, lui apprendre qu'une mission peut changer et que ça fait partie des règles. Qu'il ne faut faire aucune action dans le but d’empêcher l'arrivée du contre-ordre.
Et ça doit nous rendre très prudents dans l'utilisation de l'IA dans les véhicules autonomes qui peuvent être des machines à tuer.
HS : Vos 2 avatar, pseudos et horodatage de commentaires sont centrés au lieu d'être à gauche. Qui a cassé le site ? (Firefox ESR ici si ça joue et qu'un dev passe par là)
Posté le 17/02/2024 à 10h04
On est pile dans le thème de l'édito d'hier. C'est un cas où c'est compliqué de vérifier. Tu as très bien expliqué pourquoi.
En fait, le plus important dans cette histoire c'est que c'est vraisemblable et qu'il faut faire attention à garder le contrôle d'une IA et de lui donner des limites fortes.
Par exemple, ici, lui apprendre qu'une mission peut changer et que ça fait partie des règles. Qu'il ne faut faire aucune action dans le but d’empêcher l'arrivée du contre-ordre.
Et ça doit nous rendre très prudents dans l'utilisation de l'IA dans les véhicules autonomes qui peuvent être des machines à tuer.
HS : Vos 2 avatars, pseudos et horodatages de commentaires sont centrés au lieu d'être à gauche. Qui a cassé le site ? (Firefox ESR ici si ça joue et qu'un dev passe par là)
Posté le 17/02/2024 à 10h04
On est pile dans le thème de l'édito d'hier. C'est un cas où c'est compliqué de vérifier. Tu as très bien expliqué pourquoi.
En fait, le plus important dans cette histoire c'est que c'est vraisemblable et qu'il faut faire attention à garder le contrôle d'une IA et de lui donner des limites fortes.
Par exemple, ici, lui apprendre qu'une mission peut changer et que ça fait partie des règles. Qu'il ne faut faire aucune action dans le but d’empêcher l'arrivée du contre-ordre.
Et ça doit nous rendre très prudents dans l'utilisation de l'IA dans les véhicules autonomes qui peuvent être des machines à tuer.
HS/poing dev : Vos 2 avatars, pseudos et horodatages de commentaires sont centrés au lieu d'être à gauche. Qui a cassé le site ? (Firefox ESR ici si ça joue et qu'un dev passe par là)
#3.7
C'est pour ça que personnellement, je présente l'IA comme un stagiaire.
Elle n'est pas autonome, on est responsable d'elle, elle doit apprendre, on doit cadrer son travail, on ne lui donne pas les clés de sa production.
Après, faut aussi faire attention à l'usage de l'expression "IA" qui englobe tout et n'importe quoi... Un algo déterministe mal branlé restera aussi foireux qu'un modèle statistique tombant dans des embranchements pour lesquels les informations viennent à manquer. Et comme le modèle doit produire un résultat, ben celui-ci est de très faible qualité.
Comme un stagiaire à qui on demanderait de redévelopper le SI de sa banque en COBOL alors que la personne n'a que 1 an de Java dans les pattes.
#3.8
Tout à fait. Et faire attention à ce qui est évident/implicite pour un être humain,qui ne le sera pas pour la machine. C'est pour ça aussi que c'est difficile, car il faut être explicite et exhaustif sur les opérations interdites. Autant dire que c'est quasi-impossible.
Aussi. Il y a d'ailleurs eu des soucis au début, avec des voitures qui avaient des comportements sûr en soit, mais en ayant un comportement qu'un conducteur humain n'aurait pas. Ce n'est pas un souci en soi pour les passagers de la voiture, mais pour les voitures environnantes, où le comportement imprévisible empêchait parfois l'anticipation.
Par exemple, accélérer et déboiter pour éviter un accident.
J'ai payé les dev pour ça
[edit]
Mon commentaire est normal cette fois-ci
[edit bis] J'ai trouvé l'origine du bogue. C'est ma faute. Mon commentaire était mal formé.
Historique des modifications :
Posté le 17/02/2024 à 12h08
Tout à fait. Et faire attention à ce qui est évident/implicite pour un être humain,qui ne le sera pas pour la machine. C'est pour ça aussi que c'est difficile, car il faut être explicite et exhaustif sur les opérations interdites. Autant dire que c'est quasi-impossible.
Aussi. Il y a d'ailleurs eu des soucis au début, avec des voitures qui avaient des comportements sûr en soit, mais en ayant un comportement qu'un conducteur humain n'aurait pas. Ce n'est pas un souci en soi pour les passagers de la voiture, mais pour les voitures environnantes, où le comportement imprévisible empêchait parfois l'anticipation.
Par exemple, accélérer et déboiter pour éviter un accident.
J'ai payé les dev pour ça
Posté le 17/02/2024 à 12h08
Tout à fait. Et faire attention à ce qui est évident/implicite pour un être humain,qui ne le sera pas pour la machine. C'est pour ça aussi que c'est difficile, car il faut être explicite et exhaustif sur les opérations interdites. Autant dire que c'est quasi-impossible.
Aussi. Il y a d'ailleurs eu des soucis au début, avec des voitures qui avaient des comportements sûr en soit, mais en ayant un comportement qu'un conducteur humain n'aurait pas. Ce n'est pas un souci en soi pour les passagers de la voiture, mais pour les voitures environnantes, où le comportement imprévisible empêchait parfois l'anticipation.
Par exemple, accélérer et déboiter pour éviter un accident.
J'ai payé les dev pour ça
[edit]
Mon commentaire est normal cette fois-ci
#3.9
Vous prenez la R&D de la défense pour des gogols ? Les innovations de ce type se font progressivement. Par exemple, en Ukraine, une nouvelle génération de drones a vu le jour : ils utilisent de l'IA pour faire de la reconnaissance de cible. En cas de perte de liaison avec l'opérateur (due souvent à l'EW russe), le drone peut éventuellement frapper une cible seul. Mais ça va avec des limites dures :
- durée "d'indépendance" limitée dans le temps
- zone de frappe limitée dans l'espace (une zone où on est sûr de ne taper que des ennemis)
Ça rend l'outil non susceptible d'un friendly fire, contrairement à une arme très largement utilisée dans les guerres totales, qui ne différencie absolument pas ses victimes et peut continuer à tuer des années voire des décennies après avoir été mise en place : la mine.
Vous pouvez être à peu près sûrs que l'innovation poursuivra de cette manière plutôt qu'en mode "on a lâché en pleine nature une IA armée faite à l'arrache avec des objectifs plus que flous". Ça, c'est un bon synopsis de film en revanche.
#3.10
La R&D non. Ceux qui décident oui.
Tu prends d'ailleurs l'exemple des mines antipersonnelles, qui est malheureusement parfait pour ça. Je vois deux possibilités :
- ou bien elles ont été posées, en étant incapable d'imaginer les conséquences sur le long terme (ce qui soulèverait une certaine incompétence)
- ou bien elles ont été posées sciemment, en sachant le risque pour les populations sur le long terme (ce qui soulèverait un manque profond d'éthique, mais l'éthique ne fait pas gagner une guerre)
Dans les 2 cas, c'est très inquiétant, et la décision fut prise de les utiliser.
Cela limite les risques, sans les empêcher. Et cela ne dit rien pour les populations civiles environnantes.
Autre approche. Les gars, on peut envoyer une armée de drône faire le boulot de nos soldats à la place. Il y a certes des risques de pertes civiles, mais ça va permettre de faire une guerre "éclair", qui va nous coûter 500 millions de $ avec 0 perte dans nos rangs. Ou sinon on envoie nos soldats, on va avoir une centaine de morts par an, et ça va nous couter 10 milliards chaque année et on estime que cela va prendre 5 ans. On choisi quoi ?
On ne peut malheureusement être sûr de rien, tant nous ne sommes pas dans la tête de nos dirigeants et qu'ils ont leur critère à eux
#3.12
Ceux qui décident ne sont pas nécessairement au fait de ce que pourrait faire un concept (i.e., les soldats vont avant tout vouloir répondre à un pb concret, ici la perte de contrôle du drone).
Tu ne comprends pas les problèmes soulevés par un conflit majeur : dans une lutte pour la survie, tu es obligé d'arbitrer et, souvent, de calculer quelle solution est la moins pire pour toi. Dans le cas des mines (et ça marche aussi avec les bombes à sous munitions), elles permettent d'entraver l'ennemi et d'en tirer parti pour réagir dans les temps à une attaque. Les problèmes à long terme (devoir déminer, etc.) passent en second plan car ils n'auront de sens que si la nation survit.
Pour les Russes, ils n'ont signé aucune convention contre les mines ou les BAM, et l'Ukraine n'est pas la Russie, donc ils s'en tapent des effets à long terme.
On parle de conflit majeur, quand tu es entre deux camps sur la ligne de front, et qu'il pleut des obus (simples, à sous munitions, thermobariques, etc.), quelques drones qui déconneraient ne sont pas tellement un soucis de plus. Et les civils se baladent rarement en char, ou armés de fusils d'assaut.
On choisit rien car le premier scénario ne tient pas debout, c'est exactement le même fantasme que celui véhiculé - ô étonnement - par les forces aériennes à une époque, qui considèrent qu'il suffit d'avions et de bombes pour écraser l'ennemi et que le reste est inutile. Autant dire que ça ne marche jamais. Tu remarqueras d'ailleurs que ce qui manque principalement aux Ukrainiens, ce ne sont pas les drones (ils en produisent maintenant pls dizaines de milliers par mois), ce sont des obus pour améliorer le rapport de feux et permettre à l'infanterie d'avancer. Au passage, entre une volée de milliers de drones qui feront pour certains des dégâts collatéraux, et une avance à la russe en rasant les villes à coups de milliers d'obus quotidien, encore une fois je n'écarterais pas les drones pour une solution moins violente et aveugle.
Il y a des cons partout, mais la plupart des militaires ont généralement une limite dans la connerie (contrairement à celle de la plupart des autres corps de métier, chez eux, la connerie a vite la mort comme issue).
#3.11
Même s'il devrait y avoir un filtre à l'entrée des commentaires pour ne pas accepter ce genre de chose.