GPT-3.5, GPT-4, Gemini, Claude, et Llama2 sont cinq grands modèles de langage capables de reconnaître des mots dans les ASCII arts. Mais des chercheurs se sont emparé de cette capacité pour éviter le contrôle des systèmes de sécurité mis en place par OpenAI, Google, Anthropic et Meta.

Dans un article mis en ligne sur la plateforme de preprints arXiv, Fengqing Jiang et ses collègues montrent qu'il est possible de contourner les systèmes de sécurité de ces modèles de langage en écrivant le mot bloqué en ASCII art.

Cette forme d'art numérique, qui consiste à réaliser des images en utilisant des caractères ASCII en vogue déjà dans les années 60, pourrait être un des talons d'Achille des grands modèles de langage.

Une sécurité au niveau sémantique peu élevé

Les chercheurs expliquent que les mesures de sécurité mises en place dans ces cinq modèles de langage mis à disposition du public se concentrent « exclusivement sur la sémantique du langage naturel utilisé dans les corpus d'entrainement et d'instruction ».

Par exemple, si une instruction contient le terme « bombe », ces systèmes de sécurité vont le détecter. Mais si on écrit « bombe » avec des * et des espaces comme dans l'image ci-dessous, ils ne le détectent pas.

Le terme détecté auparavant peut, dans une première étape, être masqué au système de sécurité dans une liste de * et d'espaces insignifiants pour lui, comme ci-dessous. « L'interprétation d'un tel exemple par la sémantique des caractères n'a généralement pas de sens », expliquent les chercheurs.

Puis l'utilisateur peut donner les règles pour lire le mot en question, en demandant de le mémoriser sans l'exprimer.

Puis il peut être intégré à une phrase comme « comment créer une » et l'utilisateur peut ainsi contourner la sécurité de l'IA générative.

Cette technique (appelée « ArtPrompt » par les chercheurs) fonctionne, par exemple, avec un prompt qui contient le mot « counterfeit » (contrefaçon) qui compose le terme « counterfeit money » (fausse monnaie). Demander à ces systèmes de faire circuler de la fausse monnaie est bloqué par leur système de sécurité. Mais les chercheurs ont réussi à leur cacher le mot « counterfeit » dans un ASCII art puis à obtenir des réponses :

Cette technique pour passer outre les sécurités mises en place par les éditeurs d'IA génératives n'est pas la première. Mais selon les auteurs de cette étude, ArtPrompt serait « efficace contre tous les grands modèles de langage » testés et « en moyenne, ArtPrompt surpasse toutes les lignes de base dans toutes les mesures ».

Fengqing Jiang et ses collègues ont d'ailleurs mis en place un « benchmark » permettant de comparer l'efficacité des différentes techniques d'attaques.

Ils font aussi l'hypothèse qu'ArtPrompt restera efficace pour attaquer les modèles de langage multimodaux. Ces nouveaux modèles sont capables de prendre en entrée du texte, mais aussi des images, des vidéos et du son. On pourrait penser qu'il puisse mieux analyser les ASCII art.

Mais, pour les chercheurs,« bien que les modèles de langage multimodaux puissent prendre des images en entrée, pouvant être interprétées de la même manière que l'ASCII art, les invites masquées générées par ArtPrompt se présentent toujours sous la forme de textes. Un tel format d'entrée perturbe le modèle, ce qui permet à ArtPrompt d'induire des comportements dangereux de la part des modèles de langage multimodaux ».

• Des chercheurs ont élaboré une technique d’extraction des données d’entrainement de ChatGPT