Les avancées de l'IA pourraient nous faire passer de l'« économie de l'attention », dédiée à la captation et rétention de nos actions (voir notre article associé : « Si c’est gratuit, c’est vous le produit »), à une « économie de l'intention » reposant sur la prédiction et la manipulation de ce que l'on pourrait décider de faire.

• « Si c’est gratuit, c’est vous le produit » : une expression qui remonte aux années 70

Deux chercheurs du Leverhulme Centre for the Future of Intelligence (LCFI, qui explore la nature, l'éthique et l'impact de l'intelligence artificielle) de l'université de Cambridge estiment que nous sommes à l'aube d'un nouveau marché de la « persuasion automatisée ». Reposant sur la captation et l'analyse des signaux et marqueurs numériques de nos intentions, il ouvre des perspectives aussi lucratives que sociologiquement et politiquement abyssales.

Cette « marchandisation de l'intentionnalité humaine » aurait d'ores et déjà été identifiée par des chercheurs et marchands de l'IA comme une « extension viable » de l'économie de l'attention qui régit une bonne partie d'Internet depuis les années 1990, avancent les chercheurs.

Elle reposerait sur le développement et la commercialisation de « technologies persuasives » visant à identifier et influencer nos actions, avant même que nous ayons pris ou formulé de décisions, et qu'ils qualifient d' « économie de l'intention ».

Des potentialités de manipulation sociale « à l'échelle industrielle »

Yaqub Chaudhary est chercheur en histoire de l'IA, Jonnie Penn historien des technologies. Dans un article publié dans la Harvard Data Science Review, « Beware the Intention Economy: Collection and Commodification of Intent via Large Language Models », ils écrivent que dans une économie de l'intention, les grands modèles de langage (LLM) pourraient être utilisés pour cibler, à faible coût, le vocabulaire, l'âge, le sexe, l'historique en ligne et les préférences des internautes :

« D'une certaine manière, l'économie de l'intention est l'économie de l'attention représentée dans le temps ; elle cherche à tracer l'arc de l'attention des utilisateurs – comment elle change, se calcifie et se connecte à des modèles archétypaux de comportement – à travers différentes échelles de temps. Si certaines intentions sont fugaces, d'autres persistent, ce qui rend leur captation lucrative pour les annonceurs. »

Cette collecte d'informations pourrait dès lors être associée à des réseaux de courtage de données afin de maximiser la probabilité d'atteindre un objectif donné. Au-delà des seules intentions d'achat de produits ou services, les chercheurs évoquent l'orientation des conversations au service de plateformes, d'annonceurs, d'entreprises et même d'organisations politiques.

Des bots et « assistants » basés sur l'IA y chercheraient dès lors à prévoir (et à influencer) nos décisions à un stade précoce. Leur objectif serait de pouvoir commercialiser ces « intentions », en temps réel, auprès d'entreprises susceptibles d'y répondre, et avant même que nous ayons pris une décision.

Ces agents « anthropomorphes », alimentés par IA, auraient accès à de vastes quantités de données personnelles, psychologiques et comportementales, souvent captées lors de dialogues informels et conversationnels avec des IA. Leurs connaissances et analyses de nos habitudes en ligne pourraient leur permettre d'établir des niveaux de compréhension, de confiance mais aussi, craignent les deux chercheurs, de manipulation sociale « à l'échelle industrielle ».

Cette « nouvelle dimension de la persuasion automatisée » s'appuie sur les capacités uniques des LLM et, plus largement, de l'IA générative, qui interviennent non seulement sur ce que les utilisateurs veulent, mais également, comme l'avait décrit un chercheur en 2018 dans un article intitulé « Stand out of our light: Freedom and resistance in the attention economy », « sur ce qu'ils veulent vouloir », écrivent les chercheurs :

« Nous démontrons, par une lecture attentive de la littérature technique et critique récente (y compris des articles inédits d'ArXiv), que de tels outils sont déjà explorés pour susciter, déduire, collecter, enregistrer, comprendre, prévoir et, en fin de compte, manipuler, moduler et marchandiser les plans et les objectifs humains, à la fois banals (par exemple, la sélection d'un hôtel) et profonds (par exemple, la sélection d'un candidat politique). »

« Les chatbots interviennent pour obtenir l'intention de l'utilisateur »

Les deux chercheurs évoquent tout autant des recherches et publications académiques que des déclarations d'acteurs technologiques majeurs du secteur. Ils mentionnent, par exemple, un appel lancé par OpenAI en novembre 2023 en vue d'accéder à des « ensembles de données à grande échelle qui reflètent la société humaine et qui ne sont pas déjà facilement accessibles en ligne au public aujourd'hui » :

« Nous pouvons travailler avec n'importe quelle modalité, y compris le texte, les images, l'audio ou la vidéo. Nous recherchons en particulier des données qui expriment une intention humaine (par exemple, des écrits ou des conversations de longue durée plutôt que des bribes déconnectées), dans toutes les langues, sur tous les sujets et dans tous les formats. »

Miqdad Jaffer, alors directeur des produits chez Shopify (il a depuis rejoint OpenAI en tant que « chef de produit »), avait de son côté mentionné l'arrivée de chatbots « pour obtenir explicitement l'intention de l'utilisateur » à l'occasion d'une intervention intitulée « The business of AI » :

« Je pense que nous nous trouvons actuellement sur un continuum. Nous commençons par comprendre [sic] l'intention de l'utilisateur, puis nous prédisons l'intention de l'utilisateur, puis l'action de l'utilisateur. Je pense que c'est le continuum dans lequel nous nous trouvons actuellement. Les chatbots interviennent pour obtenir explicitement l'intention de l'utilisateur. »

« Chaque fois que vous interagissez avec un ordinateur, il est probable que vous fassiez d'abord appel à un grand modèle de langage », rappelait pour sa part en 2023 Jensen Huang, le PDG de NVIDIA :

« Ce grand modèle de langage déterminera votre intention, votre désir, ce que vous essayez de faire, compte tenu du contexte, et vous présentera les informations de la meilleure façon possible. Il effectuera une requête intelligente, peut-être une recherche intelligente, complétera cette requête par votre question, votre demande, et générera toutes les informations nécessaires. »

L' « intentionomie » et les protocoles prédictifs de Siri

En 2021, des chercheurs de Facebook AI et de la Cornell University avaient déjà publié un article intitulé « Intentonomy: A dataset and study towards human intent understanding » (qu'on pourrait traduire par « Intentionomie : un ensemble de données et une étude sur la compréhension de l'intention humaine »).

Il reposait sur « un ensemble de données d'intention » comprenant 14 000 images sur un large éventail de scènes de la vie quotidienne. Elles étaient annotées manuellement et reliées à 28 catégories d'intentions « dérivées d'une taxonomie de psychologie sociale », telles que « la sécurité et l’appartenance », « le pouvoir », « la santé », « la famille », « l’ambition et la capacité » et « la réussite financière et professionnelle » :

« Une image vaut mille mots, car elle véhicule des informations qui vont au-delà du simple contenu visuel qu'elle contient. Dans cet article, nous étudions l'intention derrière les images des médias sociaux dans le but d'analyser comment les informations visuelles peuvent faciliter la reconnaissance de l'intention humaine. […] Nos résultats éclairent quantitativement et qualitativement la façon dont les informations visuelles et textuelles peuvent produire des effets observables lors de la prédiction de l'intention. »

Le nouveau cadre de développement App Intents d'Apple pour connecter les applications à Siri, l'IA et assistant virtuel à commande vocale d'Apple, comporte pour sa part des protocoles permettant de « cartographier la découverte, la pertinence et la prédiction d'intentions dans les applications », relèvent les chercheurs.

Leur objectif est de « prédire les actions que quelqu’un pourrait entreprendre à l’avenir » et d’obtenir les interfaces pertinentes nécessaires « pour suggérer l’intention de l’application à quelqu’un dans le futur en utilisant les prédictions que vous [le développeur] fournissez ».

La nouvelle « monnaie d'échange de l'Internet » ?

« La sensibilisation du public à ce qui se prépare est la clé pour s'assurer que nous ne nous engageons pas sur la mauvaise voie », souligne M. Penn. Il précise que ces développements ne sont pas nécessairement mauvais, mais qu'ils ont le potentiel d'être destructeurs :

« Ces entreprises vendent déjà notre attention. Pour obtenir un avantage commercial, la prochaine étape logique est d'utiliser la technologie qu'elles développent pour prévoir nos intentions et vendre nos désirs avant même que nous ayons pleinement compris ce qu'ils sont. »

Les deux chercheurs craignent également que cela puisse aller jusqu'à déstabiliser nos démocraties « en soumettant les utilisateurs à des modes clandestins de subversion, de réorientation et d'intervention sur les signaux d'intention commercialisés ».

« Ce que les gens disent lorsqu'ils conversent, la manière dont ils le disent et le type d'inférences qui peuvent en résulter en temps réel sont bien plus intimes que les simples enregistrements d'interactions en ligne », relève Yaqub Chaudhary :

« Des IA sont déjà en cours de développement pour susciter, déduire, collecter, enregistrer, comprendre, prévoir et, en fin de compte, manipuler et marchandiser les plans et les objectifs humains ».

« Le partage de l'attention avec des plateformes de médias sociaux telles que Facebook et Instagram a été le moteur de l'économie en ligne » et « la monnaie d'échange de l'internet », résume Jonnie Penn :

« À moins d'être réglementée, l'économie de l'intention traitera vos motivations comme une nouvelle monnaie. Nous devrions commencer à réfléchir à l'impact probable d'un tel marché sur les aspirations humaines, notamment des élections libres et équitables, une presse libre et une concurrence loyale sur le marché, avant de devenir les victimes de ses conséquences involontaires. »

« L'éventualité d'un préjudice rendu possible » par l'exploitation d'une telle « économie de l'intention » par des acteurs mal intentionnés « mérite un examen approfondi de la part des chercheurs, des citoyens et des autorités de réglementation », concluent les deux chercheurs :

« Quelle que soit l'issue de ces partenariats de données dans la pratique, l'ambition de faire des interfaces conversationnelles et des systèmes d'IA générative des médiateurs incontournables de l'interaction homme-machine marque le passage de l'économie de l'attention, dans laquelle l'accès à la ressource limitée qu'est l'attention humaine est négocié par le biais d'échanges publicitaires, à l'économie de l'intention, dans laquelle les acteurs commerciaux et politiques font des offres sur les signaux qui prévoient l'intention humaine. »

De la gestion de la relation client à celle des (re)vendeurs ?

Marry Hodder se présente comme consultante en technologies de contrôle de la vie privée et des données personnelles, les biens communs des clients et le consentement. En commentaire, elle rappelle que la notion avait aussi et préalablement été développée par le journaliste, chroniqueur et blogueur américain David "Doc" Searls dans un article éponyme paru en mars 2006 dans le Linux Journal, puis dans son livre « The Intention Economy : When Customers Take Charge », publié en 2012.

Il y avançait que les clients pouvaient recourir à des outils pour trouver les produits et services les plus adaptés à leurs attentes via ce qu'il qualifiait de « Vendor relationship management » (VRM, ou GRV, pour gestion de la relation vendeur). Ce pendant côté client de la gestion de la relation client (ou CRM), étudié par Harvard depuis 2008 (mais dont le Wiki n'a pas été mis à jour depuis 2022) :

« L'économie de l'intention se développe autour des acheteurs, et non des vendeurs. Elle s'appuie sur le simple fait que les acheteurs sont la première source d'argent et qu'ils sont prêts à l'emploi. L'économie de l'intention concerne les marchés, pas le marketing. Vous n'avez pas besoin de marketing pour créer des marchés de l'intention. L'économie de l'intention s'appuie sur des marchés véritablement ouverts, et non sur une collection de silos. Dans l'économie de l'intention, les clients n'ont pas besoin de voler de silo en silo, comme les abeilles de fleur en fleur, collectant des informations sur les marchés (et l'inévitable battage publicitaire) comme autant de pollen. Dans l'économie de l'intention, l'acheteur notifie au marché son intention d'acheter, et les vendeurs se font concurrence pour l'achat de l'acheteur. C'est aussi simple que cela. »

Doc Searls avançait alors que « l'économie de l'intention ne se résume pas à des transactions », à mesure que « les conversations sont importantes », et « les relations aussi », tout comme « la réputation, l'autorité et le respect » :

« L'économie de l'intention permet aux acheteurs de trouver des vendeurs, et non aux vendeurs de trouver (ou de "capturer") des acheteurs. Dans l'économie de l'intention, un client de location de voitures devrait pouvoir dire au marché de la location de voitures : "Je vais skier à Park City du 20 au 25 mars. Je souhaite louer un SUV à quatre roues motrices. J'appartiens à Avis Wizard, Budget FastBreak et Hertz 1 Club. Je ne veux pas payer d'avance pour l'essence ni souscrire d'assurance. Que peut faire l'une de ces entreprises pour moi ?" afin de mettre les vendeurs en concurrence pour obtenir le marché de l'acheteur. »

L'investissement de Microsoft dans OpenAI et le Gosplan soviétique

En décembre 2021, des employés de Microsoft avaient publiquement estimé – « en termes prudents » dans un article intitulé « How AI Fails Us » – que l'investissement initial d'un milliard de dollars de Microsoft dans le développement de GPT-3 « par une équipe d’environ 150 employés » d'OpenAI constituait « l'un des plus grands investissements en capital jamais dirigés exclusivement par un si petit groupe » :

« Le rapport entre l'investissement soviétique en 1975 et le nombre d'employés de l'agence de planification de l'État, Gosplan [le « Comité d’État pour la planification » chargé de définir et de planifier les objectifs économiques à atteindre en Union soviétique, ndlr], était à peu près le même que celui associé à l'investissement dans OpenAI. »

Leurs auteurs déploraient que « la vision dominante de l'intelligence artificielle imagine un avenir où des systèmes autonomes à grande échelle surpasseront les humains dans un nombre croissant de domaines ». Une vision qui « considère à tort que l'intelligence est autonome plutôt que sociale et relationnelle » :

« Elle est à la fois improductive et dangereuse, optimisant les mesures artificielles de la reproduction humaine plutôt que l'augmentation systémique, et tendant à concentrer le pouvoir, les ressources et la prise de décision au sein d'une élite d'ingénieurs. Les visions alternatives basées sur la participation et l'augmentation de la créativité et de la coopération humaines ont une longue histoire et sont à la base de nombreuses technologies numériques célèbres telles que les ordinateurs personnels et l'internet. »

Les signataires appelaient les chercheurs et bailleurs de fonds à « réorienter leur attention de l'intelligence générale autonome et centralisée vers une pluralité d'approches établies et émergentes qui étendent les traditions de coopération et d'augmentation, comme le montrent des réussites telles que le projet de démocratie numérique de Taïwan et les plateformes d'intelligence collective telles que Wikipédia ».