666e édition des LIDD : Liens Intelligents Du Dimanche

Le voilà, le tant attendu 666e !

666e édition des LIDD : Liens Intelligents Du Dimanche

Comme tous les dimanches (après une petite pause ces dernières semaines), voici notre sélection des liens les plus intéressants de ces derniers jours. Ils proviennent des commentaires les plus intéressants, utiles et/ou originaux de la semaine, mais aussi de nos recherches.

Le 19 mai à 00h00

Commentaires (33)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Alors voici de quoi terminer la journée : un rapport de plus de 500 pages (en anglais) de l’université de Stanford sur l’intelligence artificielle (si vous avez un résumé, je suis preneur !).
Ce n'est pas à ce genre de choses que sont bonnes les IA génératives ?
Il doit même être possible d'avoir le résumé directement en français.
votre avatar
Justement, ce serait une erreur d'utiliser une IA pour avoir un résumé et/ou une traduction.

En fait, ça peut être pratique si tu veux générer un résumé d'un texte que tu connais, pour faire le gros du travail de rédaction et ne corriger que les parties problématiques. Mais si tu ne connais pas le contenu du texte d'origine, tu seras incapable de savoir si le contenu résumé est fidèle à la source ou pas. Un exemple, pour les plus curieux sur linuxfr, avec en particulier ce commentaire qui décrit les erreurs commises par l'IA (en l'occurrence, Bard)

Ensuite, un texte de 500 pages est bien trop long pour être résumé par les modèles actuels. Il faudrait le faire en plusieurs passes. Découper le texte initiale en différentes parties, puis résumer les parties, et faire un résumé des résumés (et potentiellement répéter le processus). Bref, je doute fortement de la qualité du résultat obtenu à la fin.

Le souci c'est que le résumé généré aurait une forme tout à fait correct. Mais le contenu peut être à des années lumières de ce qui est véritablement dit. Vérifier le contenu signifie... lire le document d'origine, et donc perdre tout intérêt du résumé !
votre avatar
Ensuite, un texte de 500 pages est bien trop long pour être résumé par les modèles actuels. Il faudrait le faire en plusieurs passes. Découper le texte initiale en différentes parties, puis résumer les parties, et faire un résumé des résumés (et potentiellement répéter le processus). Bref, je doute fortement de la qualité du résultat obtenu à la fin.
C'est faux, le modèle Gemini 1.5 Pro actuellement disponible gratuitement a un contexte de 1M de tokens, ce qui est suffisant pour résumer ce document de 238 734 tokens.

Sans juger du résultat voilà ce que donne Gemini (relativement facile même pour un journaliste humain si on considère que tout jusqu'à la page 26 est un résumé):

Le rapport AI Index 2024 de l'université de Stanford offre un aperçu complet du paysage de l'intelligence artificielle, mettant en lumière des tendances significatives en matière de recherche et développement, de performances techniques, d'IA responsable et d'impact économique. Le rapport constate que l'industrie continue de dominer la recherche de pointe en IA, les modèles de pointe devenant de plus en plus coûteux à entraîner. Il souligne également la prolifération des modèles de fondation, en particulier dans le domaine de l'IA générative, qui a connu une augmentation vertigineuse des investissements malgré une baisse globale des investissements privés en IA.

En termes de performances techniques, l'IA surpasse les capacités humaines dans plusieurs benchmarks, notamment la classification d'images, le raisonnement visuel et la compréhension de l'anglais. Cependant, elle est encore à la traîne dans des tâches plus complexes comme les mathématiques de niveau compétition, le raisonnement de bon sens visuel et la planification. Le rapport met en évidence l'émergence de l'IA multimodale, des benchmarks plus difficiles et l'utilisation croissante de l'IA pour générer des données spécialisées, ce qui stimule encore les progrès techniques. Fait notable, les LLM fermés surpassent considérablement les LLM ouverts en termes de performance.

L'IA responsable reste un sujet de préoccupation majeur. Le rapport révèle un manque de standardisation dans les évaluations de l'IA responsable, ce qui rend difficile la comparaison des risques et des limites des principaux modèles d'IA. Les deepfakes politiques sont faciles à générer et difficiles à détecter, tandis que les chercheurs découvrent des vulnérabilités plus complexes dans les LLM. Les entreprises du monde entier s'inquiètent des risques liés à l'IA, notamment en matière de confidentialité, de sécurité et de fiabilité. La transparence des développeurs d'IA est jugée faible, ce qui entrave les efforts de recherche. Le rapport met également en lumière les biais politiques des LLM et l'augmentation du nombre d'incidents liés à l'IA. L'opinion publique prend davantage conscience de l'impact potentiel de l'IA, ce qui entraîne une augmentation de la nervosité à l'échelle mondiale.
votre avatar
C'est faux, le modèle Gemini 1.5 Pro actuellement disponible gratuitement a un contexte de 1M de tokens, ce qui est suffisant pour résumer ce document de 238 734 tokens.
Merci de la correction. Je ne savais pas que le modèle Gemini avait un context si grand (je ne connais pas tous les LLM ^^). En tout cas, mon estimation de 500 tokens par pages est à peu près juste (j'arrive à 250 000 token, contre 238 734 a priori)

Après, cela n'enlève en rien ce que je disais : si le contexte n'est pas suffisamment grand (ce qui est le cas de la plupart des LLM disponibles), il faut découper le texte en portion plus petite, avec les inconvénients que cela à.
votre avatar
Oui, Google a même annoncé une version supportant 2M de tokens la semaine dernière. Désolé pour le "c'est faux" pas très aimable.

Par ailleurs tu as raison, c'est une grosse limite des modèles actuels et à ma connaissance aucun modèle ouvert n'a de contexte aussi grand.
votre avatar
Désolé pour le "c'est faux" pas très aimable.
C'est pas faux :p xD :smack:
votre avatar
Un exemple, pour les plus curieux sur linuxfr, avec en particulier ce commentaire qui décrit les erreurs commises par l'IA (en l'occurrence, Bard)
J'ai demandé à Gemini 1.5 Pro de résumer l'article et il semble bien meilleur que la version de Bard (beaucoup moins d'hallucinations).

Cet article s'insurge contre le fonctionnement du système de CVE et plus précisément contre la gestion par le NVD. L'auteur, membre de l'équipe de sécurité du projet curl, dénonce l'apparition d'un CVE (CVE-2020-19909) concernant une faille de sécurité dans curl sans que l'équipe en ait été informée.

Ce CVE, pourtant daté de 2020, semble avoir été publié récemment et est qualifié de "critique" par le NVD avec un score de 9,8 sur 10. L'auteur affirme qu'il s'agit d'une erreur d'appréciation grossière car la faille en question avait déjà été signalée en 2019, corrigée et ne constituait pas une menace sérieuse.

Le CVE en question concernait un débordement d'entier dans l'option de ligne de commande --retry-delay. Cette option permet de définir le délai d'attente de curl avant une nouvelle tentative en cas d'échec. Un débordement d'entier pouvait survenir avec des valeurs extrêmes, mais n'entraînait qu'un décalage dans le délai d'attente, sans aucune conséquence sur la sécurité.

L'auteur déplore que le NVD n'ait visiblement pas consulté le code source ni la correction apportée, se contentant d'un diagnostic superficiel basé sur la mention "débordement d'entier". La désinformation se propage maintenant à travers divers sites web qui reprennent le classement "critique" du NVD, créant une inquiétude injustifiée. L'auteur conclut en affirmant son intention de contester ce CVE auprès du MITRE.
votre avatar
J'ai demandé à Gemini 1.5 Pro de résumer l'article et il semble bien meilleur que la version de Bard (beaucoup moins d'hallucinations).
Tu ne peux pas préjuger de la qualité d'un LLM sur un seul exemple. Des comparatifs ont montré Bard mieux que ChatGPT dans certains cas, et inversement dans d'autres.

Le résultat fourni est, sur cet exemple précis, mieux (ayant lu l'article d'origine, je confirme ^^). Cela ne veut pas pour autant dire que le résultat sera toujours mieux et ne sera jamais sujet à des hallucinations / contresens / etc.

Et pour ça, à moins d'avoir lu l'article d'origine, c'est impossible de le savoir.
votre avatar
Effectivement, mais Bard (qui n'existe plus) et ChatGPT (3.5) ne représentent plus l'état de l'art aujourd'hui.

Les LLMs évoluent trop rapidement pour qu'un exemple de l'an dernier soit pertinent aujourd'hui.
Bard en particulier était reconnu pour halluciner énormément.
GPT-4 scored 83% on neurosurgery board exams, GPT-3.5 got 62%, Bard, 44%
the paper measured hallucinations. Bard had a hallucination rate of 57% while GPT-4 was just 2%
votre avatar
Les LLMs évoluent trop rapidement pour qu'un exemple de l'an dernier soit pertinent aujourd'hui.
Tout dépend de ce que l'on veut mettre en avant. Pour du qualitatif, je suis d'accord avec toi.

Pour attention, ne pas prendre pour argent comptant ce que dis une IA, cela reste tout à fait viable. Effectivement, pour illustrer mon propos, j'ai pris un exemple assez flagrant d'hallucination, où l'IA va jusqu'à dire l'opposé du papier original dans son résumé.

Attention aussi à ce que l'on appelle hallucination. Est-ce les erreurs commises par l'IA dans l'interprétation de ce qu'on lui demande, ou les erreurs dans le contenu appris ? Par exemple, 2 comportements, très différents d'un point de vue de l'utilisation :
- quelle est la date de naissance du Président de la République Française ? => 2 mars 1858
- quelle est la couleur du cheval blanc d'Henri IV ? => bleue

Dans les deux cas, j'ai volontairement répondu une erreur. Le premier relève d'une hallucination (il invente une information au lieu de dire je ne sais pas), tandis que le second correspond plutôt à une erreur de logique et ne nécessite pas savoir, juste de comprendre.

Le premier cas nécessite un apprentissage et si l'information n'était pas incluses dans le jeu de données d'entrainement, il ne pourra pas y répondre. Le second est indépendant du jeu d'entrainement.

De ce que j'ai vu jusqu'à présent, les hallucinations testées relèvent souvent du premier cas plus que du second.
votre avatar
Attention à ne pas confondre modèle et implémentation. ChatGPT est une implémentation de GPT 3.5 ou 4 (selon) avec un system prompt et des paramètres qui lui sont propres. Je vois trop souvent ce raccourci qui me semble trop hasardeux.

Même si c'est la vitrine d'OpenAI, il ne faut pas le prendre comme argent comptant :)

Pour faire un parallèle chez Infomaniak, Mixtral est intégré sous forme de chatbot à l'outil de messagerie instantanée de la suite bureautique. Il est configuré pour un usage particulier, au même titre qu'il l'est pour la correction/rédaction de mails ou, plus récemment, l'assistance dans leur website builder. Par contre le modèle Mixtral dispo dans l'API LLM est "brut de fonderie" car charge au client de définir le system prompt et les usages.

Chez OpenAI, cela revient à utiliser les API de GPT.
votre avatar
Tout à fait. Mais le paramétrage et le system prompt peuvent largement influencer le résultat. Je préfère donc comparer les implémentations (ce que l'on voit) que les modèles (ce qui est invisible pour le commun des mortels) ;)
votre avatar
Ah, la voilà enfin, la fameuse 666e édition des LIDD ! On l’a attendue longtemps, celle-là !

😈 6️⃣6️⃣6️⃣ :devil:

Prochaine étape : la 777e !
votre avatar
Le coup de l'IA pour déflouter pose de réelles questions, c'était un angle auquel j'avais pas pensé.
L'usage de cette technique est surtout étatique je suppose, non ?
votre avatar
Pas nécessairement. Je vois bien des groupes d'ED arriver à avoir les moyens pour le faire. Et ce n'est à priori pas si coûteux.
votre avatar
et le pire, c'est qu'a la base, ça aurait pu être utile au plus grand nombre, waifu2x ne défloutant pas une photo de vacances trop floue ou trop petite par exemple...
votre avatar
Pour ce film, les réalisateurs ont « fait le choix de générer des visages via intelligence artificielle pour anonymiser ses témoins (au centre). Créer une simple mosaïque présente dorénavant trop de risques. Quant au carré noir, difficile de l'utiliser durant tout un film », explique l’INA.

J'espère qu'ils mettent un gros encart en disant que le visage a été remplacé pour anonymisation, parce que sinon... une personne qui ressemblerait au visage utilisé pourrait se voir accuser du coup !

Pour ce type d'anonymisation (remplacer le visage), il serait pas mal d'utiliser tout le temps le même visage (ou un nombre restreint, en fonction du sexe et de la couleur de peau par exemple). D'une part, cela permettrait d'éviter l'écueil que j'énonce juste au dessus. D'autre part, à force, en voyant tel ou tel visage, il serait facile d'identifier le contenu comme un contenu anonymisé (flouté).

Pour les hommes, je propose Chuck Norris. Car personne n'ose s'en prendre là lui.
votre avatar
J'ai vu le reportage en question et c'était bien indiqué que les visages avaient été générés par ia.
On sent que la technologie n'est pas encore parfaite, mais le rendu était assez correcte.
votre avatar
Sur la page d'accueil, c'est normal la mise en page particulière pour cet article uniquement ? Image centrée, texte en dessous, alors que les autres articles c'est image à gauche, et texte à droite ?

image-centr-e.png
votre avatar
C'est bizarre que l'image soit aussi réduite en taille chez toi : elle s'affiche sur toute la largeur chez moi.
votre avatar
Effectivement. Voir ma réponse à Ferd en #5.2
votre avatar
Qui fait le malin avec le CSS custom tombe dans le ravin 😝
votre avatar
Effectivement ! C'est à cause de mon extension :francais:

Ce qui est bizarre, c'est que je l'avais désactivé il y a un bout de temps maintenant, car je ne l'ai pas mise à jour suite à toutes les mises à jour du site. Et là, elle est de nouveau active. Une MAJ de chrome peut être...

Mea culpa
votre avatar
Je suppute qu’il s’agit du format « une » dont avait parlé Ferd il me semble.
Mais l’image est bien étalée sur toute la largeur chez moi.
votre avatar
J'avais raté le format "une". Maintenant, je sachons !

Pour la taille, le "bogue" est chez moi. Voir ma réponse à Ferd en #5.2
votre avatar
Elle s'étale bien en hauteur aussi ! Elle prend plus de la moitié de la place disponible dans la fenêtre de mon navigateur sur PC (en-dessous du bandeau NEXT) !
Je vais pet-être réactiver l'extension de fdorin. :fumer:
votre avatar
Aéré ! qu'on m’a dit :windu: :transpi:
votre avatar
Puisqu'on parle un peu IA ici, une question en rapport : certains ont-il testé l'IA de Nvidia nommé Perfusion ?

En gros : une IA générative de 100ko (oui oui, ko !!) par concept avec une durée d'apprentissage de 4min par nouveau concept.

Attention, ça ne veut pas dire que le modèle fait moins de 100ko. Il faut malgré tout un modèle préentrainé qui peut faire quelques Go. C'est juste que l'apprentissage d'un nouveau concept ce fait rapidement et pour un coût assez modique.

Le papier : https://research.nvidia.com/labs/par/Perfusion/
Une implémentation : https://github.com/lucidrains/perfusion-pytorch?tab=readme-ov-file

@SebGF : un avis ? Je sais que tu as fait pas mal d'essais avec plusieurs IA de génération d'images ;)
votre avatar
Ah non du tout. J'avoue que comme mes capacités hardware sont limités (une honorable 1080GTX de 2018 qui arrive à tenir) je n'ai pas été tester d'autres solutions. Et il est hors de question pour moi d'utiliser une solution hébergée par une entreprise en qui je n'aurais pas confiance (pour ça que j'utilise le Mixtral d'Infomaniak désormais).

Merci pour la notification, j'irai y jeter un oeil pour le mettre en concurrence avec SD :)
votre avatar
Ah j'avais cru comprendre que tu avais testé les services en ligne rapidement histoire de les comparer à des solutions plus locales (mais j'avais retenu que tu ne les utilisais pas au quotidien ;) )

Après, l'implémentation que j'ai donné utilise a priori un modèle de Stable Diffusion. Donc les résultats obtenus doivent assez proche, sauf à l'entrainer spécifiquement sur un nouveau concept précis.
votre avatar
Ce sont surtout les LLM que j'ai testé en ligne car ma config est incapable de les faire tourner.

Pour la génération d'image, au début j'utilisais Craiyon (une implem de DALL-E) puis quand j'ai découvert AUTOMATIC1111 pour SD, au début via le truc hébergé sur Google mais qui vite été limité, j'ai fini par recycler mon ancien PC de jeu. C'est surtout les modèles de SD que j'essaye de varier :)
Depuis je tourne avec InvokeAI.

Après c'est dans le cadre pro que j'ai eu l'occasion de tester le service managé OpenAI d'Azure.
votre avatar
_France TV propose un documentaire dont le nom donne le ton : « Mascus, les hommes qui détestent les femmes »._
Quand bien même il est important de visibiliser ce sujet, je trouve problématique la manière dont le journaliste l'aborde pour les raisons suivantes :

* dans la séquence sur la « drague de rue », le journaliste reproduit du harcèlement de rue envers une femme sans même le mentionner, on aura juste le droit à ses états d'âme pour se consoler…

* achat de formation pour découvrir ce qu'elles proposent, j'aurais apprécié entendre les questions que cela a pu poser d'acheter ces formations, qui les paie (ce qui entretient/finance ces réseaux)…

* séquence vidéo du tueur de la fusillade d'Isla Vista sans avertissement (la pertinence de telles images est questionnable)

* présence d'images de scènes de crime sans avertissement (là encore l'intérêt journalistique de ces images reste flou)

* ça manque de vidéos de chatons (comme suggéré par Stéphanie Lamy) pour se remettre de tout ça sur la fin du documentaire (plus le documentaire devient trash moins il y a de chatons)

Ces éléments me questionnent sur l'intégration d'un comité d'éthique lors du processus de réalisation/production de ce documentaire.
votre avatar
J'adore la chaine YouTube de G Milgram. Idem pour la chaine de Daniel Shiffman, l'auteur de Nature of Code. Sa chaine s'appelle The Coding Train, et il y a plein de challenges de programmation assez sympas. Son style et son enthousiasme sont inimitables.

666e édition des LIDD : Liens Intelligents Du Dimanche

  • Le floutage de demain passe dès aujourd’hui par l’IA

  • Neurone et IA : la bonne connexion ?

  • C’est quoi être « identifiable » au sens du RGPD ?

  • Patch, Jeux olympiques et « biologie augmentée »

  • L’histoire de la soupe primordiale et du jeu de la vie

  • Combo perdant : masculinismes, identitaires et réseaux sociaux

  • Le débarras des LIDD

  • Doom dans Htop

  • Brouteurs broutés

  • Meow ?

Fermer