En soit il n'y a pas grand chose de spécifiquement alarmant si c'est encore fait dans le cadre d'une beta test interne avec les employés.

A chaud, à mes yeux, c'est un simple problème d'habilitation et de catégorisation de la donnée.

L'architecture générique proposée aujourd'hui montre généralement une faible place pour le modèle LLM sous-jacent. Il est principalement là pour comprendre, rechercher, et répondre à la requête. Derrière, c'est rien de plus qu'un application Web qui gère des habilitations utilisateur et lance des requêtes API basées sur ce que le modèle a besoin d'aller chercher comme info aux diverses sources documentaires.

Ces sources peuvent être variées : des API de référentiels de l'entreprise, des sources documentaires internes, externes, des bases de données, ou encore d'autres services d'IA tels que de l'OCR ou de la perception machine pour analyser un contenu.

Evidemment, je ne connais pas l'architecture interne d'Amazon, mais je doute qu'ils aient réinventé la roue. Donc je pense que c'est surtout un problème de filtrage et d'habilitations relative à qui a le droit de voir quoi. Le modèle en lui-même reste incapable de gérer tout ça, c'est qu'un gros index de connections entre mots et contextes.

En résumé : ça sent plus le défaut de jeunesse d'intégration qu'un défaut du modèle en lui-même. Sauf si le modèle a été entraîné avec des données confidentielles ou secrètes, ce qui dans ce cas est d'une idiotie sans nom.

A l'inverse, les réponses désagréables ou à risque, c'est plutôt du fine-tuning qui reste à finaliser. Après, OpenAI a sorti ChatGPT trop tôt, Google a sorti Bard trop tôt, Microsoft a sorti Bing Chat trop tôt, donc il fallait bien suivre la tendance. Mais ça reste un process long et itératif donc il est utopique d'imaginer un modèle parfaitement politiquement correct out-of-box. Comme un humain, il a besoin d'être éduqué si j'osais la comparaison.