Face à un risque mortel et immédiat, les conducteurs réagissent généralement à l'instinct. Mais qu'en est-il pour les voitures autonomes qui auront la capacité d'analyser la situation et d'agir en conséquence ? Doivent-elles sacrifier le moins de vies possible ? Si oui, faut-il imposer une régulation des algorithmes ?

Les voitures autonomes sont une réalité et, même si elles ne circulent pas encore en masse sur les routes, cela arrivera inévitablement à un moment donné. Les constructeurs mettent en avant la grande capacité d'analyse et la rapidité de réaction des intelligences artificielles qui se trouvent à bord, et qui permettent d'éviter de nombreux accidents (pas tous non plus, comme en a fait l'expérience une Google Car il y a quelques mois). Mais que se passe-t-il lorsque la voiture est soumise à un « dilemme social » et qu'il faut choisir entre des options qui ont toutes des conséquences funestes pour une ou plusieurs personnes ? 

Faut-il sacrifier le conducteur pour sauver une ou plusieurs vies ? 

Prenons un exemple afin de poser le décor. Un piéton déboule de manière inattendue devant une voiture autonome. En une fraction de seconde cette dernière le détecte, analyse la situation et calcule qu'elle ne peut pas freiner suffisamment pour l'éviter, le tuant si elle continue sur sa trajectoire. Reste deux solutions : faire une embardée à droite ou une à gauche. Mais, sur la droite se trouve un groupe de piétons et sur la gauche un précipice. Que faire dans cette situation ? Ou plutôt qui « sacrifier » ? Le piéton, le groupe de personnes, le conducteur et les éventuels passagers ?

Un exemple parmi tant d'autres. Même si cela ne devrait pas arriver à chaque coin de rue (loin de là même), ce genre de situation peut arriver (et arrivera donc d'après la fameuse Loi de Murphy) et il faut donc l'anticiper. Si, dans le cas d'un humain, ce sont les réflexes qui prennent les commandes, pour la voiture se sera aux algorithmes de décider... en fonction de la manière dont ils auront été programmés. La question est justement de savoir comment ils doivent agir dans ce genre de situation.

Une version moderne en quelque sorte du « dilemme du tramway ». Un jeu de l'esprit dans lequel on se demande s'il est éthique pour le conducteur d'un tramway devenu incontrôlable d'actionner une manette qui déviera la machine afin qu'il ne tue qu'une seule personne, au lieu de plusieurs s'il ne réalise aucune action. Le conducteur est remplacé par une intelligence artificielle... elle-même créée par des humains. Faut-il agir sciemment pour limiter les pertes, ou bien ne rien faire pour changer la trajectoire et, en quelque sorte, laisser faire « le destin » ?

Via Amazon Mechanical Turk, des scientifiques ont posé la question à 1 928 résidents des États-Unis (chaque participant obtenait 25 centimes en échange de ses réponses, étaient répartis dans six groupes. Chacun planchait sur des situations différentes. Le compte-rendu de cette étude, publié dans le magazine Science, ne représente évidemment pas le sentiment de toute la population américaine, mais permet tout de même de se faire une idée de la manière dont les gens appréhendent ce problème, tout en soulevant de nombreuses problématiques.

76 % pensent que oui pour sauver 10 piétons par exemple...

Dans le premier groupe, la question était simplement de savoir s'il était « plus moral » de tuer un passager d'une voiture autonome plutôt que dix piétons. Pour 76 % des sondés, la réponse est sans surprise : oui. Lorsqu'on leur demande de noter sur une échelle allant de 0 (protéger le conducteur à tout prix) à 100 (minimiser le nombre de victimes), le résultat est du même acabit avec une médiane à 85 %. En théorie, le bien du groupe l'emporte donc sur l'individu, du moins pour une large majorité des personnes.

La situation se corse avec le groupe suivant lorsque le nombre de piétons varie entre 1 et 100. Avec un seul piéton impliqué, 23 % environ pensent qu'il faut sacrifier le passager de la voiture, « mais leur approbation morale augmente avec le nombre de vies qui pourraient être sauvées, jusqu'à un niveau correspondant aux 76 % observés avec le premier groupe ».

Les membres du troisième groupe pour leur part devaient imaginer qu'il se trouvait dans la voiture, parfois avec des personnes de leur famille. Même dans cette situation présentée comme « très agressive », le sacrifice des occupants de la voiture revenait majoritairement dans les réponses (entre 54 et 66 % pour 95 % des réponses) lorsque cela permettait de sauver plus de vies.

Pour résumer, les personnes interrogées s'accordent à dire que sauver le plus grand nombre de vies serait la meilleure option, même si de la famille est présente dans la voiture. Mais entre savoir ce qui est le mieux pour l'intérêt général et passer aux actes, il y a un fossé que certains ne veulent pas franchir.

... mais seulement 19 % seraient prêt à acheter ce genre de voiture autonome

En effet, peu de personnes semblent intéressées par l'achat d'une voiture autonome, même si elle est pensée pour protéger ses occupants en priorité. Mais lorsqu'on précise qu’eux et/ou des membres de la famille puissent être sacrifiés pour sauver le plus grand nombre, seulement 19 % des sondés ont indiqué être prêt à acheter une telle voiture. En d'autres termes, bien que pensant que les voitures sauvant un maximum de vies sont « plus morales », ils ne souhaitent pas en acheter une. 

Les résultats du quatrième groupe vont dans le même sens. Trois algorithmes leur étaient soumis et ils devaient noter sur 100 la moralité de ceux-ci, leur sentiment si des voitures étaient programmées de cette manière et leur intention d'acheter une telle voiture autonome. Voici les trois situations proposées : faire une embardée pour tuer un piéton et en sauver dix autres, tuer les occupants de la voiture pour sauver dix personnes, faire une embardée et tuer un piéton pour sauver une vie.

Sans surprise, le fait de sacrifier une personne pour en sauver dix engrange le plus de points, tandis qu'en tuer une à la place d'une autre ne reçoit que quelques-uns. Le troisième cas (tuer les passagers pour sauver dix piétons) est là encore plus compliqué. Cette manière d'agir obtient des notes de moralité élevées et elle est considérée comme étant un bon algorithme par les personnes interrogées, mais elles sont beaucoup moins nombreuses à vouloir qu'un algorithme de ce genre arrive dans les voitures, et encore moins à vouloir en acheter une de ce genre.

Les conclusions de l'équipe de chercheurs sont simples : « Une fois de plus, il semble que les gens votent pour l'utilitarisme, l'abnégation des voitures autonomes et souhaitent voir ce comportement sur la route, mais sans réellement vouloir en acheter une pour eux-mêmes ». Un cas typique de dilemme social où « tout le monde cède à la tentation de l'autopréservation au lieu d'adopter un comportement de groupe qui conduirait à un meilleur résultat global ».

Et si les gouvernements imposaient une réglementation utilitariste ? 

Pour passer outre ces considérations, les chercheurs proposent une solution : « que les régulateurs imposent de faire respecter le comportement conduisant au meilleur résultat global ». Un principe d'application qui n'a rien de nouveau et que l'on retrouve déjà dans d'autres domaines : vaccination des enfants, paiement des impôts, etc.

Mais dans le cas des voitures autonomes, les choses ne sont pas aussi simples comme le montre le cinquième groupe de cette étude. Pour commencer, il est demandé aux participants de noter quatre choix (de 0 à 100) : se sacrifier pour sauver une ou dix personnes lorsque l'on conduit, et la même chose si une intelligence artificielle est aux commandes de la voiture. Dans tous les cas, la moyenne est au-dessus des 50 % avec un score bien plus élevé quand le nombre de piétons est plus important. Bref, un résultat déjà obtenu auparavant.

Mais ce même groupe avait droit à une autre série de questions dont le but était de savoir s'ils étaient prêts à ce que ce principe (sacrifier les passagers de la voiture pour sauver les piétons en plus grand nombre) soit inscrit dans la loi. Cette fois-ci, le score est systématiquement en dessous des 50 %. Une majorité s'accorde donc à dire qu'il est bien plus moral de tuer une personne dans la voiture pour en sauver dix, mais quand il s'agit de graver cela dans le marbre (ou dans des lignes de codes), la tendance s'inverse.

Les robots plus à même de prendre des décisions « sensées » ?

Pour Jean-François Bonnefon, chercheur au CNRS, co-auteur de cette publication et interrogé par La Dépêche, la question est donc de savoir s'il faut laisser les robots décider pour nous de ce qu'il faut faire pour le bien du plus grand nombre. « Le monde est déjà en train de changer » ajoute-t-il, et il faut donc se décider assez rapidement.

Lors d'une conférence en 2011 à Toulouse sur la psychologie des risques, le chercheur expliquait qu'« on peut, peut-être au bout d'un moment, désespérer du genre humain. Vont venir s'empiler, démonstrations après démonstrations, des éléments qui laissent penser que vraiment nous sommes très très peu à même de juger correctement du risque ou de prendre des décisions censées ». Une intelligence artificielle (telle qu'on les connait aujourd'hui, en attendant les IA fortes) n'a pas ce genre d'état d'âme et sera capable d'agir de manière rationnelle... pour peu qu'aucun bug ne soit présent dans les lignes de codes bien évidemment.

Alors les gens auraient moins l'intention d'acheter une voiture autonome

Dans la dernière étude, les scientifiques ont demandé aux participants s'ils achèteraient une voiture dont les algorithmes auraient été réglementés. Là encore, différents scénarios sont évidemment mis en place : une personne seule au volant, avec un membre de sa famille et enfin avec leur enfant. 

Comme avec les autres groupes, le fait de sacrifier les passagers pour sauver un grand nombre de personnes l'emporte, certes moins franchement lorsqu'il y a des membres de la famille et/ou des enfants à bords. Les participants sont par contre moins nombreux à vouloir qu'une régulation soit mise en place par le gouvernement (même lorsqu'ils sont seuls au volant).

Ils sont encore moins nombreux à vouloir acheter une voiture autonome avec algorithmes réglementés (21 % en moyenne), contre 59 % dans le cas contraire :

La situation est donc relativement complexe, car rien n'oblige (pour le moment) les automobilistes à acheter des voitures autonomes, que les algorithmes soient réglementés ou non. De plus, selon les conclusions de cette étude, si les fabricants automobiles veulent vendre en masse des voitures autonomes, ils n'ont pour le moment aucun intérêt à ce qu'une loi impose des algorithmes minimisant les victimes puisque cela baisserait drastiquement le nombre de clients potentiels. Dans le même temps, cela aurait pour effet de limiter le nombre de tués à cause des voitures, ce qui irait dans le bon sens. Dilemme...

Gouvernements, fabricants et consommateurs doivent se mettre d'accord

Les scientifiques expliquent ainsi que « trois groupes peuvent être en mesure de décider comment gérer les dilemmes éthiques des voitures autonomes : les consommateurs qui les achètent, les fabricants qui les programment et le gouvernement qui peut réguler le type d'algorithmes que les fabricants peuvent proposer et que les consommateurs peuvent choisir ».

« Nos résultats suggèrent que la réglementation des voitures autonomes peut être nécessaire, mais aussi contre-productive » tempèrent-ils. En effet, si des voitures autonomes protectrices des passagers et utilitaristes sont mises sur le marché en même temps, peu de gens seraient prêts à monter dans le second type de voitures pour l'instant, et ce, alors qu'elles aimeraient bien que d'autres le fassent.

Quand imposer des algorithmes pourrait avoir l'effet inverse que celui recherché

« Un règlement peut apporter une solution à ce problème, mais les régulateurs seront confrontés à deux difficultés » ajoutent les chercheurs. Tout d'abord, la plupart des gens semblent désapprouver la mise en place d'un règlement qui imposerait l'utilitarisme. Ensuite, plus problématiques, les résultats suggèrent que cette réglementation pourrait considérablement retarder l'adoption des voitures autonomes, « ce qui signifie que les vies sauvées grâce à l'utilitariste pourraient être dépassées en nombre par les décès causés en retardant l'adoption des voitures autonomes ».

Et encore, nous sommes restés dans des situations « faciles » où il n'est question « que » de vie et de mort. Que se passe-t-il avec des incertitudes sur l'issue d'un accident ? Est-il acceptable pour une voiture autonome d'éviter une moto en déviant dans un mur, car elle estime que la probabilité de survie est plus importante pour les passagers que pour le pilote de la moto ? Le pilote de la moto dirait certainement que oui, alors que le conducteur de la voiture serait certainement plus mitigé. 

Faut-il prendre en compte l'âge, le sexe et la condition physiques ou sociales des personnes impliquées ? Imaginons maintenant qu'on laisse le choix à l'automobiliste entre plusieurs algorithmes, faut-il le condamner en cas de conséquences funestes ? Bref, un beau casse-tête en perspective, aussi bien pour les régulateurs, les constructeurs que les utilisateurs.

Et vous, quelles décisions prendriez-vous ? 

Afin de vous mettre face à vos propres choix, les chercheurs ont mis en place un site poétiquement baptisé Moral Machine. Vous pouvez proposer vos propres scénarios catastrophes, mais aussi répondre à une série de 13 questions et accéder à une analyse de votre comportement. De manière générale, vous pourrez ainsi consulter les « personnages » les plus épargnés et au contraire ceux le plus souvent sacrifiés.

Mais le plus intéressant reste l'analyse plus fine des données en fonction de certains cas : avez-vous tendance à sauver le plus de vie possible, les passagers de la voiture, les piétons qui respectent la signalisation, les personnes en fonction de leur genre (sexe, âges, condition sociale), les humains ou les animaux et, dernier point et pas des moindres, éviter d'influencer sur la trajectoire de la voiture ? Dans ce dernier cas, il faudra voir si l'absence de décision est une décision ou non, mais c'est un autre débat.

• Accéder à Moral Machine