Thales ne veut pas concevoir de robots tueurs autonomes et réclame une législation internationale

Thales ne veut pas concevoir de robots tueurs autonomes et réclame une législation internationale

Thales ne veut pas concevoir de robots tueurs autonomes et réclame une législation internationale

L'annonce a été faite par le PDG du groupe, Patrice Caine, lors d'une visite dans les laboratoires de la société, puis reprise par l'AFP.

Le dirigeant ne veut pas de robots tueurs équipés d'une intelligence artificielle et souhaite que « les pays mettent en place une législation au niveau international pour que le terrain de jeu soit clair pour tous ».

Il donne un exemple pratique : « Pensez aux drones construits avec des armes et de la détection faciale : vous aurez alors des assassinats ciblés visant des groupes de population en particulier ».

Le PDG affirme que sa société « n'appliquera pas l'IA dans tout ce qui est létal [même] si les clients le demandent ». Il refuse en effet de « donner de l'autonomie à un système d'armes pour que de lui-même il puisse décider de tuer ou pas ».

Pour rappel, cette question des robots autonomes tueurs s'est également invitée à l'ONU et Thales n'est pas la seule société à s'en inquiéter. Une centaine d'experts ont publié une lettre ouverte pour que cette question ne soit pas oubliée : « Nous n'avons pas beaucoup de temps pour agir. Une fois cette boîte de Pandore ouverte, il sera difficile de la fermer », expliquaient-ils.

Commentaires (33)


” le terrain de jeu “



:eek:


Je suis plus qu’étonné de lire ça…

La France est tellement en retard dans le domaine qu’elle préfère faire interdire ça?

Je sais même pas quoi en penser tellement cette déclaration n’a pas de sens, surtout par cette personne.



(non pas que j’approuve le principe)


Moi au contraire, je ne suis pas étonné du tout. Confier à une IA, dont on ne sait même pas précisément comment ça marche, la responsabilité d’identifier et tuer quelqu’un, c’est super grave comme décision. Clairement, c’est très raisonnable de ne pas vouloir être le patron de la première boîte dont un bug dans un code d’IA aura mené à une exécution d’innocents.

Et je n’aimerait pas non-plus être à la place du juge qui aura à juger de telles affaires à l’avenir…


Ce genre de déclaration est peut-être aussi le reflet de véritables inquiétudes chez les employés de certaines entreprises.


Et voilà comment se tirer une balle dans le pied, les USA, la Russie ou bien la chine eux se feront un plaisir d’investir dans ce domaine la, et dans 50 ans on va se dire qu’on est encore en retard la dessus :)


Y a pas déjà de l’« IA » dans les drones américains ?








jackjack2 a écrit :



Je suis plus qu’étonné de lire ça…

La France est tellement en retard dans le domaine qu’elle préfère faire interdire ça?





Il ne s’agit pas de la France mais de Thales, et ils sont plutôt avancés en matière d’armement.

Si demain on ouvre la possibilité de faire des robots tueurs, ils feront partie des entreprises ayant le savoir-faire pour en produire.

Donc c’est plutôt bien de poser la question, car avec les progrès récents de l’IA ça fait de plus en plus peur.



Si Thalès ne veut pas, je suis sûr que Dassault se fera un plaisir de se positionner, lui, sur ce créneau ! Après tout, il y a des armes à vendre aux Saoudiens, grands promoteurs des droits de l’Homme (surtout au Yémen), et « les affaires sont les affaires », peu importent la couleur et l’odeur (de sang) de l’argent…









Naneday a écrit :



Et voilà comment se tirer une balle dans le pied, les USA, la Russie ou bien la chine eux se feront un plaisir d’investir dans ce domaine la, et dans 50 ans on va se dire qu’on est encore en retard la dessus :)





Tu peux me dire quelle fierté il peut y avoir à être à l’avant-garde dans le domaine de l’IA appliquée à des robots tueurs ??? Oh, on parle de machines destinées à assassiner des vraies personnes dans le monde réel, pas juste dégommer des PNJ dans un jeu vidéo !



On peut être contre l’idée de robot militaire autonome, n’empêche que ce sera la prochaine bombe nucléaire. Il y aura d’un côté ceux qui l’ont et de l’autre ceux qui y seront soumis. Il est évident qu’on va assister à une nouvelle course à l’armement et qu’on ne peut qu’espérer une multiplicité de détenteurs pour conserver le status quo actuel. C’est pas l’ONU ou un pacte de non prolifération qui feront le job malheureusement.








Trit’ a écrit :



Tu peux me dire quelle fierté il peut y avoir à être à l’avant-garde dans le domaine de l’IA appliquée à des robots tueurs ??? Oh, on parle de machines destinées à assassiner des vraies personnes dans le monde réel, pas juste dégommer des PNJ dans un jeu vidéo !



Et curieusement, il y a des gens qui refusent de bosser sur ce genre de projet, ou dans une boîte qui les conduit. Thalès est peut-être sensible aux possibles pertes de compétences si un certain nombre de ses employés se barraient en cas de lancement d’un tel projet.









SeigneursCoconuts a écrit :



qu’on ne peut qu’espérer une multiplicité de détenteurs pour conserver le status quo actuel.



 Ce n’est pas la prolifération nucléaire qui a maintenu le statu quo, c’est le principe de destruction mutuelle assurée (doctrine MAD) entre les deux plus grands acteurs du “marché”. Si l’utilisation de l’IA dans le domaine militaire n’entraîne pas de risque de destruction généralisée au niveau planétaire, en l’absence d’un cadre moral rien n’empêchera qui que ce soit de s’en servir joyeusement.



Mais c’est bien parce que je pense qu’il y aurait destruction mutuelle si on généralisait ces robots. Si t’es obligé de faire un EMP sur ton pays pour espérer te débarrasser du problème, on peut parler de destruction ^^


Tu veux dire que l’ingé qui bosse dans la boîte qui a conçu la dernière mine antipersonnel tout en fibre de carbone pour échapper aux détecteurs pourrait tout-à-coup avoir des remords ? On est bien en train de parler de gens dont le métier c’est concevoir des armes ; il s’imaginent qu’on fait quoi avec ces armes ? Tirer uniquement sur des cibles en carton ?








alex.d. a écrit :



Moi au contraire, je ne suis pas étonné du tout. Confier à une IA, dont on ne sait même pas précisément comment ça marche, la responsabilité d’identifier et tuer quelqu’un, c’est super grave comme décision. Clairement, c’est très raisonnable de ne pas vouloir être le patron de la première boîte dont un bug dans un code d’IA aura mené à une exécution d’innocents.

Et je n’aimerait pas non-plus être à la place du juge qui aura à juger de telles affaires à l’avenir…





Je l’ai précisé, je ne dis pas que je ne suis pas d’accord, j’ai dit que ça m’étonnait du PDG de Thales (et donc de l’Etat français) de se fermer les portes de ça









Obidoub a écrit :



Il ne s’agit pas de la France mais de Thales, et ils sont plutôt avancés en matière d’armement.

Si demain on ouvre la possibilité de faire des robots tueurs, ils feront partie des entreprises ayant le savoir-faire pour en produire.

Donc c’est plutôt bien de poser la question, car avec les progrès récents de l’IA ça fait de plus en plus peur.





Pour avoir pris part à des décisions stratégiques dans Thales, je te parle des faits, pas des organisations officielles dont tu pourrais me parler pour essayer de prouver que j’ai tort

Si le PDG de Thales dit ça c’est que la DGA l’a décidé

Après c’est peut-être pour que ça soit Dassault seul qui s’en occupe mais je n’y crois pas





Edit: ah mais je viens d’aller voir l’article originel:



D’un côté, « les machines ne comprennent pas et ne comprendront pas dans un futur proche, le contexte moral », a dit M. Bengio.



Et de l’autre, « si ces armes deviennent faciles à acheter car beaucoup d’entreprises en fabriquent, pensez aux drones construits avec des armes et de la détection faciale : vous aurez alors des assassinats ciblés visant des groupes de population en particulier », a-t-il mis en garde.



Pour toutes ces raisons, Thales a tranché et « n’appliquera pas l’IA dans tout ce qui est létal (même) si les clients le demandent », a affirmé son PDG, refusant de « donner de l’autonomie à un système d’armes pour que de lui-même il puisse décider de tuer ou pas ».



Du coup je comprends mieux, les mots “futur proche” veulent tout dire.



Les ingénieurs qui font les mines et système d’armement ne sont certainements pas les mêmes qui s’occupe de faire/travailler sur le sujet des IA.



Ces derniers sont peut etre plus frileux à travailler sur ce genre de projet et d’ailleurs c’est arrivé que à Google.

Ils ont du revenir en arrière sur un projet avec le département de la défense américain parce que les ingé en interne refusaient de bosser sur le projet.


Déjà la convention de Genève interdit les mines anti-personnel, donc c’est pas vraiment le genre de truc que Thalès va mener comme projet <img data-src=" />

J’ai saisi l’idée de base. Il n’en reste que la guerre ça vend, ça achète, y a un marché que Thalès fournit, ça n’empêche pas à ses employés de garder un poil d’éthique sous le coude.



A Paris, une dérive d’une arme type “fusil d’assaut”, “lance-roquettes” etc, c’est que des groupes d’individus s’en servent eux-mêmes contre d’autres. #Bataclan, toi-MêmeTuSais



A Paris, une dérive d’un système d’arme comme celui-ci ? Sans parler des problématiques de sécurité informatique, c’est des groupes d’individus qui tueront d’autres individus à la carte sans sortir de leur cache en un temps suffisamment court pour pouvoir s’enfuir sans laisser le temps aux autorités de les retrouver.



Des dérives t’en trouves d’autres à la pelle, surtout si tu commences à ratisser large niveau “zone d’application”, ou de la taille/importance/moyens du groupe armé en question


Euh Thalès ne dit pas juste qu’il ne veut pas le faire mais demande surtout une réglementation internationale (un peu comme pour l’interdiction de certaines armes nucléaires et autres). Si un tel traité est mis en place, tout le monde le respectera. Enfin certes ça n’arrêtera probablement pas la recherche militaire au niveau des pays mais ça devrait empêcher l’utilisation de ces armes sur le terrain


Ah ! Il faut prévenir les Coréens et Samsung alors…

https://fr.m.wikipedia.org/wiki/Samsung_SGR-A1








jackjack2 a écrit :



Je suis plus qu’étonné de lire ça…

La France est tellement en retard dans le domaine qu’elle préfère faire interdire ça?

Je sais même pas quoi en penser tellement cette déclaration n’a pas de sens, surtout par cette personne.



(non pas que j’approuve le principe)





Pour ce coup-ci, je valide Thales car arriver à faire des T-800, c’est pas glop hein.





alex.d. a écrit :



Moi au contraire, je ne suis pas étonné du tout. Confier à une IA, dont on ne sait même pas précisément comment ça marche, la responsabilité d’identifier et tuer quelqu’un, c’est super grave comme décision. Clairement, c’est très raisonnable de ne pas vouloir être le patron de la première boîte dont un bug dans un code d’IA aura mené à une exécution d’innocents.

Et je n’aimerait pas non-plus être à la place du juge qui aura à juger de telles affaires à l’avenir…





Voila.



J’avoue avoir un peu forcé le trait avec mes mines antipersonnel, c’était l’esprit plutôt que la lettre, et tu l’avais bien compris. Ceci dit je crois que les terroristes pourront faire aussi beaucoup de victimes sans s’exposer (avec et sans L…) avec une voiture autonome bourrée d’explosifs… Ca me semble beaucoup plus facile à détourner (et plus discret) comme technologie qu’un “chien” Boston Dynamics.



Tu me diras qu’une voiture sans occupants pourrait éveiller les soupçons, mais quand ces engins seront entrés dans les habitudes, tout le monde se dira que c’est juste une voiture qui va rechercher son propriétaire bourré dans un bar…


Ce ne sera pas évident de s’assurer qu’une application ne sera pas détournée à des fins militaires, même si tu ne travailles pas dans une boîte à vocation ouvertement guerrière.



Une application civile comme “retrouver et identifier une personne dans une foule pour lui remettre un colis Amazon en mains propres” est fort proche de “retrouver et identifier une personne dans une foule pour lui mettre trois bastos en plein coeur” dans sa conception…



Il est très probable que les ingénieurs du second projet pourront détourner les résultats de ceux du premier projet puis juste ajouter la sous-routine qui presse la détente et une boucle for i = 1 to 3…



Pour revenir sur l’exemple des mines antipersonnel, simplement compter sur l’humanité et les scrupules des ingénieurs ne sera pas suffisant. Il faut des interdictions formelles au niveau mondial, pas des déclarations sur l’honneur des dirigeants d’entreprise.

&nbsp;


Et à l’inverse, une technologie militaire peut se retrouvé dans le civil. Je pense au moteur du missile V2 développé à la base pour bombardé les anglais, mais qui aujourd’hui est à la base des moteur des lanceurs (fusée).



Un technologie peut facilement être détournée, si on peut appeler ça détourner.



Je suis entièrement d’accord concernant le fait que l’interdiction doit être prise au niveau mondial.



Et oui beaucoup de technologies peuvent être déviées de leur utilisation principale. Du coup on fait quoi ? rien ?

La robotique et l’intelligence artificielle peuvent aussi permettre l’exploration spatiale, aider dans le domaine des transports, etc …





&nbsp;








rockuro a écrit :



Et oui beaucoup de technologies peuvent être déviées de leur utilisation principale.&nbsp;

&nbsp;





Chuck Norris connaît 23 façons de vous étrangler avec une attache-trombone :-)



Sinon c’est effectivement un dilemme moral. Faut-il ou non développer une technologie qui apporte un plus à une majorité de personnes mais qui peut être détournée pour péter la tronche à d’autres ?&nbsp;



Je suis souvent content que mon domaine d’activité ne m’oblige pas chaque jour à poser ce genre de choix… Quoique… Allez, hop sautons sur le point Godwin pour citer les machines mécanographiques à cartes perforées qui ont servi à faire des listes de Juifs…



Intéressant comme système. Avec l’ancien système, avec un humain impliqué, quand un déserteur du nord arrivait à passer la frontière, ceux du sud le laissaient passer et il obtenait l’asile. Là avec le nouveau système, il va se faire mitrailler automatiquement. C’est beau le progrès.


Trop de gens ici confondent le fait qu’une techno soit horrible moralement et le fait que 90% des autres pays n’ont pas ces scrupules et l’utiliseront quand même


<img data-src=" />

Et j’ajouterai que les traités c’est de la blague, y entre qui veut, en sort qui veut.

Ça ne résout rien. Seule la trouille a un effet (celui de forcer les États à faire des coups tordus avec des justifications morales plus ou moins bidonnées plutôt que d’écrabouiller ouvertement leur cible sous leur botte).


Ils ont raison, il faut une législation&nbsp;:

&nbsp;

-Le robot doit avoir une famille qui se fera insulter si les medias rapporte que ce qu’il fait c’est pas bien mais qui touchera une pension si il est mis hors service (jusqu’à sa réparation)



&nbsp;-Le robot devra posséder une zone mémoire pour stocker les images les plus horribles et éprouvera des difficultés a percevoir le bonheur en cas de dépassement de quota (jusqu’à ce que l’admin ajuste le quota)



&nbsp;-Le robot ne devra tuer que les méchants, méchants étant défini depuis la nuit des temps par “ opposé au bien ” notre équipe a donc soumit le concept a notre ébauche d’IA qui en a déduit que ce qui s’opposait a elle était tout simplement “ sur sa route “, ce qui semble être un bon compromis (jusqu’à preuve logique du contraire)



&nbsp;-Par sécurité le robot doit être désactivable a distance mais aussi d’être autonome et de se protéger d’éventuelles piratages en refusant l’interprétation de tout signaux externes (par sécurité aussi).



&nbsp;-Le robot , pour se déplacer , utilisera toute source d’énergie dont il disposera sur le terrain en favorisant les énergies non polluante comme l’énergie solaire,l’éolien, le gas-oil ou le transport a dos de mammifère (équidé ou autre) .



Voyez c’est pas dur (et la on fait moins le kéké asimov<img data-src=" />).


Ces machines ne sont pas prêtes d’être déployée pour la simple et bonne raison qu’elles ne sont pas prête de voir le jour technologiquement parlant. Suffit de voir le nombre de Nostradamus qui tout le long des 40 années passées ont affirmés sans ciller que “dans les 1020 ans à venir les robots autonome feront la guerre à notre place et patati patata”. Tout ça c’est bon pour vendre du papier mais en terme de prédiction fondée on a vu mieux.


La techno est sûrement là, mais elle coûte plus cher que d’envoyer des humains se battre


C’est pas de l’IA ça.


Il parle règles du commerce.


Fermer