Vous travaillez sur des questions de vie privée au sein de la Fondation Signal, vous avez co-fondé l’AI Now Institute il y a sept ans avec la chercheuse Kate Crawford. Quel est le lien entre ces deux thématiques, vie privée et intelligence artificielle ?

Mes travaux sur la vie privée et sur l’IA portent tous deux sur l'asymétrie du pouvoir que la surveillance de masse et l'asymétrie de l’information constituent et étendent. Côté vie privée, je suis très préoccupée par les capacités de communication des gens, leurs cultures, leur capacité à comprendre et gérer le monde démocratiquement, car toutes ces dimensions sont soumises à la surveillance centralisée et à l'autorité des gouvernements et des grandes entreprises.

Quant à l’intelligence artificielle, il s’agit d’un dérivé de cette surveillance de masse. L’IA nécessite d'énormes quantités de données, elle en produit elle-même sous la forme de décisions, de résultats, de prédictions qui façonnent nos vies et nos opportunités… Et puis elle donne à ceux qui l’utilisent – les grandes entreprises, les gouvernements, votre employeur, les forces de l’ordre – les moyens de déterminer la place de chacun dans le monde.

Dans une keynote pour le Network and Distributed System Security Symposium, vous expliquez que nous subissons beaucoup des erreurs faites, notamment, par la classe politique états-unienne dans les années 90. De quelles erreurs s’agit-il, et comment influent-elles sur le reste du monde ?

Dans les années 1990, les décisions prises ont permis une surveillance illimitée des entreprises. En faisant de la publicité le moteur de l'économie de l’internet, elles l’ont même encouragée. Or la publicité, c'est connaître son client : plus on le connaît, plus on peut le cibler, ou en tout cas, c’est la théorie. Ce sont ces logiques qui ont permis l’émergence du paradigme surveillance-publicité. Or, ce paradigme est le fondement de l’industrie de l'IA, du monopole des plateformes, de la forme que l’industrie numérique a prise et prend encore aujourd’hui.

C’est d’ailleurs pour cela que je parle de « surveillance privée » (corporate surveillance), plutôt que de capitalisme de surveillance. Traditionnellement, ce qui préoccupe les activistes et les défenseurs de la vie privée, c’est la surveillance des gouvernements. Mais le problème de fond, selon moi, c’est le business model des entreprises, non seulement parce qu’il est en lui-même extrêmement problématique et préjudiciable à nos vies. Mais aussi, comme les révélations de Snowden l'ont montré, parce que les gouvernements ont exploité la surveillance de ces sociétés pour leur propre usage, ce qui fait qu’il me paraît difficile de séparer la surveillance gouvernementale de celle des entreprises.

Que ce soit dans le cadre de l’Online Safety Bill au Royaume-Uni, du groupe de réflexion « Going Dark » créé (et débattu) en Europe, ou dans les débats politiques français, vous expliquez que les attaques contre le chiffrement de bout-en-bout et les technologies de protection de la vie privée sont en hausse, souvent au motif qu'« il faut sauver les enfants »...

La protection des mineurs est un sujet sérieux, qui demande d’être pris au sérieux. Je crois même que la manière dont les médias sociaux sont construits, les incitations à optimiser ces plateformes pour générer de l'engagement, pour promouvoir des contenus grandiloquents, choquants, incendiaires même, au service de l’engagement, des clics et de la publicité, tout cela est préjudiciable. Ces modèles commerciaux, la manière dont ils façonnent notre écosystème d'information, nos relations sociales et tout ce qui s’ensuit sont franchement critiquables.

Quand on parle de dommages en ligne, cela dit, le chiffrement et la précieuse petite poignée d’espaces dont nous disposons pour communiquer en privé, à l'abri de la surveillance des entreprises et des gouvernements sont toujours désignés comme coupables. Et pendant ce temps, on ne parle pas des algorithmes focalisés sur l’engagement, on ne parle pas des business models des plateformes, on ne parle pas de la fonction « recherche d’amis » sur Facebook, qui sont autant d’éléments faciles à modifier pour rendre les plateformes sociales moins nuisibles.

Pour être claire, Signal n’est pas un média social, il sert simplement à échanger des informations entre individus, donc c’est assez différent. Néanmoins, je pense qu’on voit revenir un vieux souhait de surveillance, de portes dérobées, de capacité d'accès à tous les réseaux, à tous les espaces de communication que les gens peuvent utiliser. C’est un vieux rêve, qui revient emballé dans le nouveau discours type « le chiffrement, c’est nocif pour les enfants, et nous, acteurs bienveillants, devons être en mesure d'entrer dans chaque espace afin d’y détecter les dangers ».

Pour autant, les problématiques de détournement des mineurs ou de leur image sont réelles, en ligne, de même que celle des violences perpétrées contre les femmes et les minorités. Quelle serait une meilleure manière de s’emparer du problème tout en respectant la vie privée ?

Si vous allez discuter avec des spécialistes des violences faites aux enfants, vous verrez qu’ils manquent avant tout de ressources, que leurs budgets sont réduits. Au Royaume-Uni, l'année dernière, seulement 7 % du budget demandé ou recommandé pour permettre aux services sociaux d’aider les enfants en situation problématique ont été effectivement financés. C’est très peu. On est face à des discours très forts sur le fait de protéger les enfants en s’attaquant au chiffrement, mais l'essentiel n'est pas là.

Le fait est que la plupart des abus se produisent au sein des familles. Les faits montrent que l'inceste est une forme incroyablement courante d'abus. Ce sont des choses que nous ne voulons pas vraiment regarder parce que cela signifie que nous devons traiter avec nos pères, nous devons traiter avec les prêtres, nous devons traiter avec des hommes puissants… Et qui croira un enfant quand on parle de personnes puissantes dans leurs communautés ?

C’est pareil pour les violences faites aux femmes : est-ce qu’on a un filet de sécurité sociale qui permet aux femmes dans des relations abusives de partir en toute sécurité, avec des ressources, dans un nouvel appartement ? Parce que les données sont là : la corrélation entre la violence au sein du couple et la maltraitance des mineurs est très élevée. Il s'agit de sujets très concrets, mais encore une fois, dans un environnement néolibéral où l'austérité est plus populaire que les faits, il est beaucoup plus facile de diaboliser le chiffrement.

Je pense qu’on parle de problèmes sociaux profonds qui ont besoin d'être résolus de manière urgente. Mais comme il est très inconfortable d'en parler, on les dévie souvent vers ce vieux souhait qui existe au moins depuis 1976 et l’invention des clés publiques de chiffrement, lorsque le gouvernement a tenté d’empêcher les publications décrivant ces technologies. Et puis ça a continué dans les années 1990, avec les « crypto wars ». Et quand on ne parlait pas d’agressions d’enfants, on estimait que c’étaient les trafiquants de drogue qui risquaient d’utiliser les messageries chiffrées. Et quand ce ne sont pas les trafiquants de drogues, ce sont les terroristes. La promesse est toujours la même : si vous nous donnez accès à tout, nous pourrons résoudre tous les problèmes du monde. Sauf qu’il n’y a aucune preuve de cela, pas plus que de démonstration que le chiffrement soit le coupable.

Bref, les récits évoluent mais en attendant, la surveillance n’a fait qu’augmenter. On vit dans l’âge d’or de la surveillance actuellement, les forces de l'ordre ont tellement de données qu'aucune agence ne sait quoi en faire et pourtant, le discours reste le même.

Pourquoi cette quête perpétuelle de plus de données, s’il est impossible de toutes les traiter ?

Je ne sais pas. Il y a une dynamique qui fait qu'ils ont toujours peur d'être blâmés. Regardez Paris, et le déploiement des appareils de surveillance de masse en préparation des Jeux Olympiques. La justification, c’est « et s’il y avait un problème, et si nous n'avions rien prévu ». Sauf qu’il est très probable que cette infrastructure reste en place après les Jeux olympiques, et qui sait quels systèmes de prise de décision ou de contrôle social seront alimentés par ces données à l'avenir ?

• • « La vidéoprotection augmentée ne sera pas optimum au moment des JO »

Donc pourquoi cette quête perpétuelle… Je ne pense pas avoir de réponse claire, si ce n’est que c’est une habitude persistante. Je pense que c'est plus facile que d'admettre que tout n'est pas possible. Pourtant c’est le cas : les forces de l'ordre ne peuvent pas toujours résoudre tous les crimes.

Outre le chiffrement du contenu des messages, pour lequel Signal a mis au point des protocoles réutilisés par d’autres grands acteurs, vous vous intéressez aussi au chiffrement des métadonnées. Pourquoi ?

Le terme « métadonnées » est problématique, car il donne l’impression que c’est moins important que les « données ». Pourtant, les métadonnées peuvent être beaucoup plus révélatrices, en termes de surveillance, que le contenu de vos échanges.

On parle de tout ce qui vous concerne autour de ce que vous dites : le nom sur votre profil, votre liste de contacts, qui fait partie de vos groupes de discussion, quand vous commencez à parler à quelqu'un, à quelle fréquence vous lui parlez, qui vous appelez après avoir appelé cette personne, où vous vous trouvez… toutes ces métadonnées donnent une image très claire de qui vous êtes, de vos relations, de ce que vous pourriez être en train de faire, quand vous avez commencé à parler à votre représentant syndical, à quelle fréquence vous lui parlez, qui d'autre est en train de discuter avec lui… Tout cela peut être observé sans savoir ce que vous dites.

Intéressons nous à la situation des homosexuels en Ouganda, par exemple, où le fait d'être gay est désormais criminalisé et passible de la peine de mort. Lorsque vous commencez à parler à un centre d'aide LGBTQ, lorsque vous démarrez une discussion de groupe avec d'autres personnes qui parlent également là-bas… Tout cela est incroyablement révélateur. Et à mon avis, on ne peut pas considérer un service de communication comme privé s'il ne protège pas également toutes ces données.

Vos protocoles sur le sujet sont-ils utilisés ?

À ma connaissance, non. Les organisations qui utilisent notre protocole de chiffrement du contenu sont nombreuses, mais elles n’utilisent pas – ou du moins pas à ma connaissance – « sealed sender » et nos outils de chiffrement des métadonnées. Nous sommes le seul service de messagerie à grande échelle véritablement privé. Mais nous sommes très ouverts à ce que d’autres l’utilisent : notre but, c’est d’élever le seuil minimal général de protection des communications.

Quid du chiffrement post-quantique ?

Nous avons développé notre propre protocole de chiffrement post-quantique, que nous avons rendu public en mai 2023. Celui-ci répond au problème des attaques « harvest now, read later » (HNRL), qui consistent à récupérer des données chiffrées aujourd’hui pour les déchiffrer plus tard, dans l’éventualité où l’attaquant mettrait la main sur un ordinateur quantique en état de fonctionnement. Donc de ce point de vue là, depuis 2023, nous sommes parés, et Apple nous a rapidement suivis. Maintenant, nous travaillons sur les attaques qui permettraient, dans l’hypothèse de l’existence d’ordinateurs quantiques, d’opérer des attaques en temps réel.

Parlons un peu plus d’intelligence artificielle. Est-ce qu’un texte comme l’AI Act vous semble susceptible d’enrayer une partie des problématiques que vous observez chez les géants numériques ?

Je ne suis pas experte des travaux réglementaires européens. Mais je ne suis pas une grande fan de l’approche par les risques.

Quelle approche vous semblerait plus efficace ?

Nous avons besoin d'une approche par la concurrence. Notre problème, c’est que le pouvoir est extrêmement concentré. Une approche par les questions de conformité, ça renforce souvent ce pouvoir dans la mesure où seuls une poignée d’acteurs est capable de s'y conformer.

Je préférerais une approche qui s'attaque à la racine du problème. L’application du RGPD tel qu'il est écrit, pour interdire la publicité de surveillance, ça ferait beaucoup pour réduire le pouvoir des acteurs de l'IA et pour stopper l'approche actuelle de l’IA, qui consiste à dire « le plus gros sera le mieux ». Car ceci a pour effet d’augmenter la surveillance, d’augmenter le pouvoir centralisé et d’augmenter le contrôle des entreprises technologiques sur les institutions et les gouvernements dans le monde entier.

Quel regard portez-vous sur les tentatives de faire émerger des champions européens ? Ceux-ci sont très largement financés par les acteurs états-uniens classiques. Apportent-ils tout de même une forme de concurrence ?

Non seulement les Mistral AI et autres sont financées par les acteurs classiques, mais elles utilisent des infrastructures américaines, peut-être même les données de ces entreprises, leur seule voie d'accès au marché passe par des partenariats ou des licences avec Google et Amazon… On ne peut pas parler de concurrence. Ce sont des dérivés, des satellites, disons, autour des grandes entreprises technologiques installées aux États-Unis.

C'est utile, je suppose, si c'est ce que l’on cherche. En revanche, l'histoire racontée à ce sujet, sur la capacité de l'Europe à rivaliser avec les États-Unis, n’est pas exacte. À mon avis, ça crée plutôt un renforcement de la domination états-unienne. Parce que l'investissement dans l'IA, si vous regardez les petits caractères, se traduit presque toujours par plus d'argent donné à Google, Amazon et Microsoft pour construire plus de centres de données en Europe, pour licencier leur infrastructure de calcul aux chercheurs, certes, mais en fin de compte, ça enracine toujours plus profondément le problème que vous prétendez résoudre.

Est-ce que vous avez des pistes de solution, pour contrer cette tendance ?

Nous ferions un grand pas si nous rejetions l'idée que la technologie doit nécessairement ressembler à ce qu'elle est aujourd’hui. Les business models dont on parle ont quoi ? 20 ans ? Ils ne sont rien, ils ne sont qu'une option parmi les milliers d'autres qui étaient sur la table pour réfléchir à la manière de faire de l'informatique en réseau, d’en faire une ressource pour différents domaines sociaux, fondamentaux, etc.

La société a tendance à les considérer comme une excroissance naturelle du progrès humain, mais je pense qu'il y a une perspective assez excitante à se dire que nous ne voulons pas agir selon leurs termes, nous ne voulons pas rivaliser en fonction du paradigme actuel de l’IA, selon lequel « le plus gros sera le mieux ».

On pourrait commencer par se demander ce dont nous avons besoin pour l'épanouissement social, ce dont nous avons besoin pour l'éducation, à quoi cela ressemblerait si tout le monde recevait les soins et les ressources dont il a besoin grâce à un système de sécurité sociale efficace, à quoi cela ressemblerait de construire un avenir vivable dans lequel le climat ne serait pas une menace pour la survie de l’humanité… Cela nous permettrait ensuite de réfléchir à comment l’informatique peut réellement nous aider.

Les grands systèmes d'IA ne sont pas des technologies à usage général, ils sont un dérivé du système de surveillance. Ils sont capables de nous dire quels sont les schémas qui apparaissent dans les données, mais celles-ci ont été collectées par des processus très contingents, généralement en anglais, via l’historique du web, et tout cela est parcellaire, biaisé… Cela ne résoudra rien des grands problèmes de société, parce que les seules personnes qui peuvent se permettre de construire ces systèmes sont les grandes entreprises ou les gouvernements.

Les systèmes sont généralement si coûteux à construire que ce seront les employeurs qui les utiliseront, pas les travailleurs. C'est la police qui les autorise, pas les personnes qui font l'objet de contrôles ou d'une surveillance excessive. C'est un outil des puissants utilisé sur ceux qui ont moins de pouvoir, souvent de manière extractive ou oppressive.

Il faut qu’on parle d’énergie aussi. Les grands systèmes d’IA sont incroyablement énergivores et l'un des grands secteurs d'entreprises auxquelles Microsoft ou Google octroient des licences, ce sont les sociétés pétrolières et gazières, pour les aider à étendre l'exploration minière.

• • Les modèles d’IA généralistes sont beaucoup plus énergivores que les spécialisés

Donc d'un côté, nous avons ces récits sur les avantages environnementaux de l’IA, sur la façon dont nous allons améliorer nos chances en matière de climat grâce à l'analyse de nouvelles données climatiques, etc. Et de l’autre, on a cette réalité qui veut que ces systèmes détruisent le climat et que les logiques de profit qui animent les sociétés qui les construisent poussent ces dernières à vendre leurs services algorithmiques à des entreprises qui détruisent encore plus le climat, pour les aider à accélérer encore le processus d'extraction des combustibles fossiles.

Pour moi, il faut qu’on rejette ce paradigme.

En 2018, vous avez co-initié le mouvement des « Google Walkouts for real change », des mobilisations de salariés pour que Google gère mieux les questions de harcèlement sexuel en interne, et favorise l’égalité. Six ans plus tard, l’industrie vous semble-t-elle avoir évolué ?

Il me semble qu’elle a régressé. Nous vivons un moment très réactionnaire, on en voit des signes partout. Les équipes d’IA éthique sont licenciées. Il y a un réel rejet des efforts en faveur de la diversité et de l’équité pour se tourner vers des politiques et un leadership beaucoup plus réactionnaires dans l’industrie. C'est un moment inquiétant.

Est-ce spécifique à la technologie ou lié à une tendance politique plus large ?

Je pense que c'est lié à une tendance politique, mais la tech est traversée de problématiques spécifiques. Il y a une résurgence de la pensée eugéniste, une résurgence du racisme scientifique… J’observe un virage idéologique très radical vers des idées autoritaires, qui rejettent souvent la démocratie, qui favorisent une sorte d'hyper capitalisme.

• • Transhumanisme, long-termisme… des idéologies aux racines eugénistes ?

C’est moins mon champ d’expertise, mais Quinn Slobodian a beaucoup travaillé sur les idéologies des anarcho-capitalistes, qui sont vraiment liées à certaines de ces tendances. Je pense tout de même que les deux sont liés : la montée de l'autoritarisme dans le monde est en quelque sorte interconnectée à ces évolutions de l'industrie technologique, dont le tournant autoritaire est assez important au cours des cinq dernières années.

Vous vous installez en Europe pour les prochains mois. Sur quoi allez-vous travailler ?

Le but est de nous concentrer sur les connexions européennes de Signal, sur le marché européen. Nous cherchons à développer une grande flexibilité, en cette période politiquement instable, et cela passe par comprendre vraiment l'état de la tech en Europe et la manière dont on peut y faire croître Signal.