Publié dans IA et algorithmes

4

Les gênantes hallucinations et fuites d’information de Q, le chatbot d’Amazon

Amazon re:Invent

La semaine dernière, Amazon a annoncé le lancement de son assistant Q, chatbot du même genre que ChatGPT dédié spécifiquement aux entreprises.

Mais, selon Plateformer, Q aurait de sérieux problèmes d'hallucinations et de fuites d'informations. Selon des documents internes à l'entreprise, obtenus par le média, l'assistant pourrait, entre autres, divulguer la localisation de datacenters d'AWS, des informations sur des programmes de réduction de l'entreprise ainsi que sur des fonctionnalités non encore commercialisées.

L'entreprise nie toute fuite de données confidentielles et minimise les retours négatifs de ses employés beta testeurs : « Certains employés font part de leurs commentaires par le biais de canaux internes et de systèmes de tickets, ce qui est une pratique courante chez Amazon [...] Aucun problème de sécurité n'a été identifié à la suite de ces commentaires. Nous apprécions tous les commentaires que nous avons déjà reçus et nous continuerons d'améliorer Q au fur et à mesure qu'il passera du statut de produit en avant-première à celui de produit disponible publiquement. »

Lors de la présentation de Q, Amazon insistait sur la mise en place de garde-fous qui seraient développés dans les prochains mois pour prévenir ce genre de fuites, justement.

4

Tiens, en parlant de ça :

Spécialiste des signalements, Point de Contact s’apprête à déposer le bilan

Silence éloquent

17:49 SocialsSociété 4
Façade du bâtiment du New York Times

OpenAI contre-attaque et accuse le New York Times d’avoir « hacké » ses produits

16:27 DroitIA 3
Photo de la Maison-Blanche

Chine, Russie… Joe Biden veut interdire l’envoi de données sensibles américaines à six pays

Fort de roquefort

15:30 DroitSécu 2
Le brief de ce matin n'est pas encore là

Partez acheter vos croissants
Et faites chauffer votre bouilloire,
Le brief arrive dans un instant,
Tout frais du matin, gardez espoir.

4

Commentaires (4)


SebGF Abonné
Le 07/12/2023 à 07h 22
En soit il n'y a pas grand chose de spécifiquement alarmant si c'est encore fait dans le cadre d'une beta test interne avec les employés.

A chaud, à mes yeux, c'est un simple problème d'habilitation et de catégorisation de la donnée.

L'architecture générique proposée aujourd'hui montre généralement une faible place pour le modèle LLM sous-jacent. Il est principalement là pour comprendre, rechercher, et répondre à la requête. Derrière, c'est rien de plus qu'un application Web qui gère des habilitations utilisateur et lance des requêtes API basées sur ce que le modèle a besoin d'aller chercher comme info aux diverses sources documentaires.

Ces sources peuvent être variées : des API de référentiels de l'entreprise, des sources documentaires internes, externes, des bases de données, ou encore d'autres services d'IA tels que de l'OCR ou de la perception machine pour analyser un contenu.

Evidemment, je ne connais pas l'architecture interne d'Amazon, mais je doute qu'ils aient réinventé la roue. Donc je pense que c'est surtout un problème de filtrage et d'habilitations relative à qui a le droit de voir quoi. Le modèle en lui-même reste incapable de gérer tout ça, c'est qu'un gros index de connections entre mots et contextes.

En résumé : ça sent plus le défaut de jeunesse d'intégration qu'un défaut du modèle en lui-même. Sauf si le modèle a été entraîné avec des données confidentielles ou secrètes, ce qui dans ce cas est d'une idiotie sans nom.

A l'inverse, les réponses désagréables ou à risque, c'est plutôt du fine-tuning qui reste à finaliser. Après, OpenAI a sorti ChatGPT trop tôt, Google a sorti Bard trop tôt, Microsoft a sorti Bing Chat trop tôt, donc il fallait bien suivre la tendance. Mais ça reste un process long et itératif donc il est utopique d'imaginer un modèle parfaitement politiquement correct out-of-box. Comme un humain, il a besoin d'être éduqué si j'osais la comparaison.
Modifié le 07/12/2023 à 07h23
Le 07/12/2023 à 10h 00
Dans le lien source:

> according to leaked documents obtained by Platformer (...) an employee marked the incident as “sev 2” meaning an incident bad enough to warrant paging engineers at night and make them work through the weekend to fix it.

Bref, ca peut être tout et n'importe quoi.
Le 07/12/2023 à 18h 22
Certains ont du mouiller le maillot avec cette histoire de Q :transpi:
dyox Abonné
Le 07/12/2023 à 20h 18
C'est bien connu : avant d'aller au Q il faut commencer par A B C...