L'éthique du développement d'outils numériques est souvent soulevée au sujet de l'intelligence artificielle ou des projets politiques des dirigeants des multinationales technologiques. Mais comment les développeurs et développeuses envisagent la question au quotidien ? Des chercheurs de l'université de Carnegie Mellon, en Pennsylvanie, publient une enquête sociologique sur le sujet.

Les projets informatiques soulèvent parfois des questions éthiques sur le bien fondé de leur utilisation. Par le passé, des multinationales comme Google et Microsoft sont même allées jusqu'à créer des équipes dédiées à réfléchir à l'éthique du développement de l'intelligence artificielle.

Dans certains cas, ces équipes posent des questions existentielles sur des projets jugés vitaux par les dirigeants de l'entreprise. En 2020, Google avait choisi de licencier ses chercheuses (Timnit Gebru, Margaret Mitchell) qui posaient des questions éthiques dérangeantes pour les projets de développement de grands modèles de langage par l'entreprise. Récemment, des chercheurs montraient aussi que les responsables d'entreprises envisagent quelquefois ces questions comme des discussions improductives, trop ambiguës ou trop compliquées aux vues des ressources de leur entreprise.

• Timnit Gebru demande des régulations ex ante de l’intelligence artificielle
• Une recommandation sur l’éthique de l’IA à l’UNESCO
• La science aux limites de l‘éthique, Zuckerberg et Musk en prennent pour leur grade
• « Robots tueurs » : le « non, mais » du comité d'éthique de l'armée
• [Interview] Promesses et limites de l’éthique de l’intelligence artificielle 

Mais les questions d'éthique ne se posent pas qu'à la tête des entreprises et peuvent concerner d'autres champs que l'IA. Des chercheurs en sociologie de l'université de Carnegie Mellon, en Pennsylvanie, vont présenter une étude [PDF] sur les questions que se posent les développeuses et développeurs qui travaillent au quotidien sur la création de divers logiciels à la conférence scientifique FAccT 2023 (Fairness, Accountability, and Transparency), qui se déroulera mi-juin à Chicago.

Les sociologues avaient trois questions en tête : Quelles sont leurs préoccupations éthiques ? Que se passe-t-il quand ils soulèvent des questions éthiques ? Qu'est-ce qui les bloque pour résoudre ces problématiques ?

Quelles questions éthiques les préoccupent ?

Pour y répondre, David Gray Widder et ses collègues ont posé des questions écrites à 115 développeurs et développeuses anglophones à travers le monde. Ils ont ensuite conduit des entretiens avec 21 d'entre eux pour connaître et analyser les questions éthiques qu'ils se posent dans leur travail. Leur idée était de les guider le moins possible dans les questions pour qu'ils se sentent libres d'aborder tous les sujets qui leur semblaient toucher à l'éthique. Toujours dans ce but de les influencer le moins possible, les sociologues n'ont pas donné de définition a priori de l'éthique.

Les réponses montrent que quatre grands thèmes posent questions aux développeurs : l'application militaire de leur travail, les questions de vie privée, les pratiques du milieu publicitaire et la surveillance. D'autres thèmes comme l'environnement, les délocalisations ou les discriminations ont été abordés par les personnes interrogées, mais de façon beaucoup moins importante.

Confrontés concrètement à des problèmes éthiques

Les développeurs et développeuses sont confrontés concrètement à des problèmes éthiques dans leurs vies professionnelles, suivant les projets qui leur sont confiés. « Je me demandais si le logiciel auquel je contribuais était utilisé contre des civils innocents ou pour enfreindre les droits humains » leur explique par exemple une des personnes interrogées. La plupart ayant participé à des projets utilisés à des fins militaires se demandaient si leur travail pouvait avoir blessé ou tué quelqu'un.

D'autres ont soulevé le fait qu'on leur demandait d'enregistrer « les touches tapées par l'utilisateur dans un formulaire d'inscription à une plateforme de marketing et d'analyse avant que l'utilisateur n'ait effectivement soumis le formulaire » ou la demande de données non nécessaires à la tâche à effectuer.

Concernant les pratiques publicitaires, certains ont soulevé des questions sur leur participation à la construction de systèmes de spams ou d' « outrepasser les mesures de prévention [antispam ] ». Certains se posaient la question d'implémenter des interfaces malhonnêtes en « poussant les utilisateurs à acheter quelque chose parce que le stock était "presque vide" ». L'un d'eux a évoqué le fait qu'on lui avait demandé de « développer un système de vision par ordinateur qui classifie avec précision les données démographiques d'une personne à des fins de marketing de segmentation de la clientèle ».

Onze des développeurs interrogés se sont vus demandé de contribuer à un système de surveillance de travailleurs ou de citoyens. L'un d'eux a par exemple expliqué avoir travaillé sur un outil dédié à « observer la façon dont les magasiniers restent concentrés sur leur tâche de travail ». Tous se posaient des questions sur les conséquences de ces outils sur l'anxiété ou le surmenage des salariés surveillés et sur la légalité de leur utilisation. D'autres n'ont pas développé directement des outils de surveillance, mais s'inquiètent que leur travail puisse l'être dans ce sens : « Le gros problème, c'est que je ne voyais pas de moyen ou de cas d'utilisation où l'identification [faciale] serait utilisée d'une manière qui ne poserait pas de problème d'éthique. Il s'agit des frontières, des aéroports, de l'identification dans les commissariats de police ».

Quatre niveaux de préoccupation

Les chercheurs identifient quatre niveaux auxquels ces employés des entreprises du numérique se posent des questions éthiques. La résolution des bugs est vue comme étant le cœur de leur devoir éthique par plusieurs personnes interviewées. Ce qui ne pose souvent aucun problème dans le sens où c'est dans l'intérêt de l'entreprise de proposer un logiciel qui fonctionne correctement. Parfois, c'est une fonctionnalité particulière du logiciel qui soulève des questions (la géolocalisation d'un utilisateur pour une application d'assurance, par exemple). Mais d'autres fois, c'est le système entier qu'on leur demande de créer qui interroge : développer un logiciel qui trouve des clients susceptibles de s'endetter de manière insoutenable, ou un logiciel de surveillance des télécommunications, par exemple (sans forcément que ces buts soient clairement soulignés). Enfin, des développeurs ont soulevé des questions sur la « raison d'être » de l'entreprise pour laquelle ils travaillaient.

Que les développeurs se posent ces questions, Next INpact et ses lecteurs ne le découvrent pas. Mais il semble important de rappeler et de constater que ce genre de logiciels sont bien écrits par des développeurs, qui peuvent se poser des questions sur leur opportunité et leur pertinence.

Que se passe-t-il quand ces questions sont abordées ?

Mais les actions menées par les développeurs lorsqu'ils sont confrontés à ce genre de questions sont moins discutées publiquement.

Certains expliquent qu'ils ont proposé des solutions techniques alternatives, comme du géorepérage sur site à la place d'une géolocalisation permanente ou l'appel à un arbitrage final humain. Mais si ces propositions ne touchent pas au cœur du produit quand il s'agit de bugs ou de fonctionnalités annexes, elles doivent être validées par leur management. Et ce dernier peut considérer qu'elles demandent trop de ressources.

Parfois, les développeurs qui se retrouvent face à un problème éthique essayent de négocier avec les responsables du projet. « Souvent, cela implique de reformuler les préoccupations éthiques en termes d'effets sur les incitations organisationnelles telles que le profit ou le succès du produit », expliquent les chercheurs.

D'autre fois, certains choisissent tout simplement de refuser d'effectuer le travail qu'on leur a confié et qu'ils considèrent comme non-éthique. Ça peut aller de la baisse volontaire de productivité jusqu'au refus catégorique avec ultimatum de démission, en faisant clairement comprendre qu'ils partiraient à moins que leurs questionnements soient pris en compte, en passant par la ré-affection à une autre tâche. Souvent, la démission resterait un dernier ressort. Une personne interrogée explique « il m'a menacé de me virer si je n'effectuais pas le travail et c'est là que j'ai décidé de partir ».

Les chercheurs évoquent aussi la stratégie de « voter avec les pieds », c'est-à-dire que les développeurs refusent tout simplement les emplois où ils identifient des problèmes d'éthique. Le marché du travail chez les développeurs implique une responsabilité éthique assez unique pour un des interviewés : « ce travail ne sera pas fait sans nous » explique-t-il, s'appuyant sur le fait que le marché du logiciel est particulièrement résilient aux crises économiques.

Peu évoquent des actions légales pour intervenir. L'un d'entre eux y a pensé, mais sans aller jusqu'au bout. Un autre pense que c'est la seule solution quand le problème réside dans la « raison d'être » de l'entreprise.

En tout cas, les développeurs expliquent avoir ressenti de l'anxiété, de la dépression et s'être isolés lors du processus d'identification et de remontée de problèmes éthiques. « Ce fut l'un des moments les plus terrifiants de ma vie », décrit l'un d'entre eux.

Quels freins ?

« Si certains se sentent dans la capacité de refuser une offre d'emploi ou de quitter leur travail pour des questions d'éthique, beaucoup de personnes interrogées expriment des limitations financières dans leur pouvoir d'agir en fonction de leurs questionnements », expliquent David Gray Widder et ses collègues. Certains développeurs expliquent que diverses problématiques peuvent peser sur leurs choix éthiques : avoir une famille, des problèmes médicaux, mais aussi la précarité due au renouvellement de visas, notamment aux États-Unis, ont été soulevés.

La culture d'entreprises aussi peut être un frein. Une culture autoritaire ou passive-agressive a tendance à bloquer tout signalement de questions éthiques. Mais des développeurs ont aussi expliqué qu'une culture d'entreprise « amicale » pouvait aussi bloquer leur démarche.

Les développeurs expliquent que les motivations financières de l'entreprise passent la plupart du temps en premier et les poussent parfois à des compromis « inconfortables ».

Le problème est d'avoir le pouvoir de les résoudre

Les chercheurs expliquent en discussion qu'identifier les problèmes éthiques est seulement une moitié du combat, mais qu'il faut ensuite les résoudre, à moins d'avoir l'impression de ne pas l'avoir mené jusqu'au bout. Pour eux, le problème des développeurs n'est pas d'être capables d'identifier des problèmes éthiques comme peuvent le suggérer l'existence de boites à outils, de formation ou de check-lists qui prétendent les aider.

« Il ne s'agit pas de repérer les problèmes, il s'agit d'avoir le pouvoir de les résoudre », clament-ils. Les développeurs et développeuses interrogés ont soulevé des questions qui remettent en cause la « raison d'être » de leur entreprise et de l'industrie du logiciel. Ils y voient une raison pour que ce questionnement continue d'être accompagné par la recherche et l'éducation.

Ils suggèrent aussi que les cours d'éthique dans les formations peuvent aussi être vus comme des moyens de planifier sa carrière. Beaucoup de développeurs interrogés ont en effet expliqué avoir pris en compte ce genre de critères dans leurs choix d'entreprises.