Le 28/02/2024 à 18h 46

Les hallucinations et autres restitutions mot pour mot d’articles qui ont mené à la plainte du New-York Times contre OpenAI, par exemple, posent en effet des problématiques financières autant que de sauvegarde de l’intégrité de l’information dans l’espace public.

Sur ce point OpenAI a annoncé que le New York Times aurait utilisé un bug et un prompt trompeur en fournissant des extraits au modèle pour qu'il les recrache. Ca reste un modèle statistique, et les stats, ça se biaise depuis bien avant la création de l'IA en tant que discipline de recherche.

Et vous, lectrices, lecteurs, votre avis ?

L'iA générative est un formidable outil qui, pour moi, est une révolution dans les usages de l'IT. Notamment en matière d'interaction humain-machine. Comme tout outil, il a ses forces et ses faiblesses.

Le problème est qu'il est utilisé par des abrutis opportunistes, mal utilisé, et qu'il y a beaucoup trop de bullshit, d'info anxiogène voire de mensonge par omission à son sujet, entraînant un biais quand à sa compréhension. Notamment alimenté par les entreprises productrices de ces produits, OpenAI étant vraiment horrible en matière de bullshit-o-meter. L'IA générative n'est pas un système autonome, elle ne peut pas remplacer quoique ce soit. Par contre elle est extrêmement efficace sur l'analyse, synthèse et étude de documentation. D'ailleurs j'ai souvenir d'une interview d'un doctorant dans le domaine sur France Info il y a quelques mois qui disait que l'IA était utilisée depuis plus longtemps que le buzz ChatGPT dans le journalisme, le Monde l'aurait exploitée notamment pour couvrir la présidentielle française pour aider à la synthèse et au recoupement d'information.

On est dans une ère où l'information (au sens donnée) est produite et circule à une vitesse hallucinante. Quasi pareil que le trading haute fréquence des échanges boursiers. L'humain est incapable de suivre et traiter ça sans mettre derrière une armée de mexicains qui, de toute façon, mettra trop de temps à produire un résultat. L'apport de l'outil est donc indéniable pour faciliter ce travail d'analyse.

Ce qui manque, c'est pas du pointage du moindre dérapage à monter en mayonnaise pour faire du buzz, mais plutôt une ligne équilibrée mêlant explication du fonctionnement, démystification car c'est pas magique, ses capacités, ses limitations, la réalité versus les fantasmes, les bonnes pratiques, et les mauvais usages à éviter. Comprendre le fonctionnement d'un système est essentiel pour savoir comment l'exploiter au mieux, mais aussi, déceler les mauvais usages visant à tromper. (mon offre pour vous proposer du contenu sur ce point tient toujours)

De mon expérience d'utilisateur de Stable Diffusion : l'image générée par IA, ça se reconnaît assez vite. Quand on produit un grand nombre d'image, on apprend à identifier rapidement les défauts. Au même titre qu'en tant que photographe amateur, les défauts sur mes séries de clichés me sautent à la tronche direct.

De mon expérience d'utilisateur de GPT (donc pas que ChatGPT) : un texte généré par GPT, ça peut se reconnaître facilement quand c'est fait avec des prompts basiques.

Le 28/02/2024 à 17h 57

Les gens merci d'accepter la nuance sur les sujets compliqués, être binaire n'apporte rien à la discussion et est faux juridiquement. Comme je l'ai dit, souvent, dire que l'on n'aime pas une catégorie de gens passera pour de l'incitation à la haine (interdite par la loi), mais pas tout le temps, ça dépendra du contexte.

C'est malheureusement la tendance des non débats : "si t'es pas d'accord avec moi c'est que t'es contre moi".

Le 28/02/2024 à 07h 36

Là je suis plus d'accord. Il y a des éléments pour lesquels on a pas le choix, mais qu'on peut changer par la suite (comme l'exemple de la religion ou des opinions politiques, la deuxième étant forcément influencée par l'expérience) tandis que d'autres non.

Sauf un détail dans la religion (et peut-être d'autres qui m'échappent, n'étant pas spécialement intéressé par le sujet), les hommes qui ont subit une circoncision rituelle devront garder ça toute leur vie. Et ça aussi, c'est pas un choix qu'ils ont eut.

Le 27/02/2024 à 21h 46

Sauf que : on choisit d'être d'extrême gauche, d'extrême droite, musulman.

Je ne serais pas aussi catégorique personnellement.

Déjà, la religion est en grande partie imposée à un âge où la personne ne peut choisir. On lui inculque ça dans son éducation comme faisant partie d'elle et c'est même intégré à son enfance comme étant des étapes. Par la suite elle peut choisir d'être pratiquante ou non, mais ce non choix lui aura été tout de même imposé. Par contre la conversion peut être un choix (ou aussi un non choix car contraint). Pour ma part, j'ai eu la chance de ne pas avoir été baptisé à l'église catholique alors que cela reste une norme social en France imposée aux enfants (177k enfants entre 0 et 7 ans baptisés à l'église catholique en 2019, à rapporter aux 735k naissances la même année, perso j'appelle pas ça un choix).

Quand aux affinités politiques, là aussi j'aurais tendance à dire que c'est aussi une question d'entourage et d'éducation et que ça peut être aussi un non choix car considéré comme étant la normalité selon le contexte culturel.

C'est certes différent de l'orientation sexuelle, de l'ethnie, ou tout autre critère sur lequel on a moins, voire pas du tout, la maîtrise, mais je ne suis pas convaincu que ce soit exclusivement des causes internes.

Le 28/02/2024 à 07h 42

Il serait vraiment regrettable qu'on perde un acteur européen aussi bien avancé dans le domaine. Surtout que, contrairement à OpenAI, le risque de rachat est une réalité puisque MistralAI est une entreprise (là où OpenAI est une structure double composée d'une entreprise et d'une ONG).

L'autre point vraiment dommageable, c'est que Large, et potentiellement les autres modèles à venir du développeur, n'est pas en open weight. Ce qui trahit l'engagement affiché précédemment qui a été effacé de leur site si j'en crois quelques éléments vus sur le sujet. C'est vraiment regrettable car le produit (en tous cas Mixtral 8x7B, j'ai commencé à tester un peu Large aussi via leur Chat) est de bonne qualité et encourageant.

J'espère qu'on ne sera pas dans une politique d'auto sabordage comme on aime le faire pour donner plus de visibilité injustifiée aux acteurs US.

Le 27/02/2024 à 18h 14

Après lecture des conditions d'utilisation du service Le Chat, il est important de noter que le seul moyen de pouvoir opt-out de la sauvegarde des prompts et résultats pour entraîner le modèle derrière est de passer par l'option payante.

En matière de traitement de données personnelles, ils invitent à anonymiser les prompts. J'ai des doutes que ce soit très légal du point de vue du RGPD pour le coup car le consentement ne me semble pas libre et éclairé.

If You wish to exclude Personal Data (in a clear, identifiable form) from the Training Data, You must pseudonymize Your Prompts,

Your must not include sensitive Personal Data in Your Prompts,

You must not include sensitive business data such as, for instance, trade-secrets, know-how, etc, in Your Prompts.

Plus loin,

Opt-out of the Mistral AITraining Data at any time by activating the relevant option on Your Account. In such a case, Mistral AI will not use Your Prompts and Outputs to train its Models. Please note that Your opt-out may only be effective for future Prompts and Outputs, as technical limitations inherent to the Chat Services may prevent Mistral AI from deleting all previously provided Prompts and Outputs from Mistral AI Training Data, even if you have opted out. Mistral AI may also use Your Prompts and Outputs to monitor abuse as set out in Section (Your User Data) of the Terms of Use.

Comme toujours, faire attention à ce qu'on donne à un modèle public. Ils ont une très bonne mémoire.

Perso je vais jouer un peu avec pour voir ce qu'il donne, mais clairement, je vais plutôt rester sur le Mixtral 8x7B proposé par Infomaniak qui me rassure plus en matière de confidentialité d'usage.

Le 27/02/2024 à 07h 35

Concernant Mixtral 8x7B je commence à avoir des retours d'expérience intéressants sur la pratique. Outre sa tendance à répondre sans aucune raison en anglais par moments, j'ai en fait l'impression qu'il travaille nativement ainsi. Dans mon cas d'usage de revue de texte, il "trouve" des erreurs qui n'existent pas.

Par exemple il me pointait à un moment un défaut de cohérence sur les guillemets (un coup anglais, un coup français). Ce qui était faux puisque le texte était entièrement avec les signes français. Pareil pour certains mots où il s'était basé sur leur version anglaise (exemple : il me disait de mettre un "e" à "guitar", qui était correctement orthographié dans le texte original). Enfin, j'ai noté parfois qu'il mangeait des tokens car j'ai eu "corriger sovnt en souvent". En fait, je me demande s'il n'aurait pas eu un entraînement insuffisant en français par rapport à l'anglais et donc qu'il manquerait de données.

Par contre, lorsque j'ai fait un dernier essai en le basculant en mode "Strict" (je ne sais pas si c'est un param "officiel" du modèle ou bien une surcouche côté Infomaniak pour éviter de manipuler trop finement la température, les top et les pénalités), le résultat fut bien meilleur qu'en "Standard". En Standard il est plus adapté pour du chat bot, et je pense qu'il est trop créatif dans ce mode. En Strict, il est plus déterministe et cela semble bien correspondre au use-case de correcteur de texte.

C'est vraiment intéressant de voir à quel point le comportement de ces outils peut changer juste avec quelques params.

Le 26/02/2024 à 17h 40

Pour Apple, Spotify devrait être reconnaissante

"Oui monseigneuuuuuur" (à dire avec la voix des péons dans Warcraft)

Le 26/02/2024 à 13h 23

Deux eurodéputées ciblées par le logiciel espion Pegasus

Pegasus ryu sei ken !

Le 26/02/2024 à 13h 20

Perso ce qui m'amuse, c'est qu'on assiste à une nouvelle consolidation des telecom.

Début années 2000, beaucoup d'opérateurs Internet qui ont finalement été rachetés et consolidés pour arriver à l'état actuel avec 4 acteurs majoritaires.

Les MVNO ont été créés pour diversifier l'offre mobile et accélérer la concurrence, et depuis ils font également partie de la consolidation au profit des 4 acteurs.

Le 26/02/2024 à 13h 17

Bah, pour ça j'ai Stable Diffusion et un nvtop en mode cocotte minute.

Côté pratique : le PC concerné étant sous le bureau, en hiver ça réchauffe les doigts de pieds.

Le 26/02/2024 à 13h 11

Ne pouvant voir les medias intégrés twitter (et ne voulant pas ouvrir ce site dans tous les cas), quelques liens autonomes :

Image originale de la NASA

Zoom qui montre l'état d'Ingenuity.

Le 26/02/2024 à 13h 02

avec la souveraineté spatiale en ligne de mir pour l’Europe.

Preuve que l'Europe est à la bourre, elle cible un truc qui s'est désintégré dans l'atmosphère en 2001 !

(erreur signalée, mais commentaire pour la postérité car elle était belle)

Le 26/02/2024 à 08h 38

Qui a déjà pesté de ne pas trouvé quelque chose en tapant une recherche dans le menu démarrer Windows ?

Tout comme je ne retrouve jamais rien dans Google Drive via la barre de recherche.

Perso je préfère Startpage à Google Search, même si basé dessus, je ressens moins l'effet SEO sur la première page. Google en direct a perdu toute pertinence à mes yeux.

Le 26/02/2024 à 08h 35

J'avais vu cette info passer en septembre dernier, amusant qu'elle ressorte à nouveau. D'ailleurs Nadella avait même reconnu que Bing était plus mauvais, même si on parle d'un témoignage dans le cadre d'une procédure et donc que celui-ci est forcément un peu orienté.

Le 26/02/2024 à 08h 28

On dit la même chose, mais pas à la même échelle

Pour moi : TV = web (diversité de contenus, bons comme mauvais), médias sociaux = TF1/M6/etc (diffuseur de contenus dans le but d'afficher de la pub).

Après je ne suis plus de chaine de TV depuis bientôt une dizaine d'années, donc je serai incapable de dire si ça a changé. En dehors de chaînes du service audiovisuel public dont je regarde parfois des contenus via leur replay.

Le 25/02/2024 à 16h 49

Perso non, car il y a deux choses différentes.

La "télé", c'est le Web : un support le communication et de diffusion. Il y a du bon comme du mauvais dessus.

Les médias sociaux, c'est effectivement la définition que Patrick Le Lay avait donné (Le Lay était connu pour être franc et cynique) quant à son métier en tant que PDG de TF1. A la fin des années 1980 il avait d'ailleurs déjà fait l'objet de polémiques en déclarant que le média était soumis aux chiffres de l'audimat et que diffuser une émission culturelle à 20h30 était un suicide économique.

Ces plateformes sont tout autant soumises aux mêmes règles et font tout pour créer de l'audience, via la violente addiction qu'elles provoquent en exploitant les mécaniques de notre psychologie.

Le 25/02/2024 à 11h 33

Devenir viral ou mourir

J'aime la formulation, surtout qu'elle est bien liée avec le sujet d'après. Et perso j'ai pu constater aussi de leur impact sur la diffusion des écrits. Sur Amazon KDP (qui a une domination absolue sur la diffusion d'ebooks), j'ai un livre qui s'est vendu à autant d'exemplaires en deux semaines que des précédents en deux mois. Simplement parce qu'il est apparu pendant ce laps de temps sur la 1ere page des meilleures ventes de la catégorie dans laquelle il se situait. Depuis, il est passé en deuxième page, et c'est revenu au rythme auquel j'ai plus l'habitude.

Clairement, oui, les algorithmes des plateformes contrôlent la vie des personnes et ces géants ont droit de vie et de mort sur à peu près tous les contenus. La surveillance et le contrôle des populations n'est pas venu des Etats mais des entreprises privées.

Cela fait echo avec le constat selon lequel les artistes se doivent d'agiter les bras et faire du bruit en permanence sur les médias sociaux par eux-même.

Pourquoi l'information semble avoir perdu sa place sur les réseaux sociaux

Pour moi, l'information n'a jamais eu sa place sur les médias sociaux (surtout qu'à la base ils n'ont pas été vendus ainsi, mais ce fut un moyen de rendre les utilisateurs captifs tout en rendant invisible les contenus qui n'ont pas les faveurs de la plateforme). Leur fonctionnement même basé sur les supposées "préférences" et autres contenus "tendances" est antinomique avec la notion d'informer en ce qui me concerne. L'information, c'est une chronologie car un fait peut évoluer dans le temps. Le buzz, c'est du spontané, ponctuel, et c'est oublié aussi vite que c'est arrivé, remplacé par un autre buzz et ça ne prend pas en compte le contexte.

En résumé, les médias sociaux ne sont que du bruit inutile à mes yeux.

Le 25/02/2024 à 16h 51

Je me disais bien que l'allure du chien n'était pas anodine car bien trop précise, mais pareil, dans la mesure où l'actu people m'indiffère je suis loin d'avoir été au courant. Surtout dans ce genre là où c'est juste de la polémique pour polémiquer.

Cela dit, le contraste est quand même bien amusant sur le dessin

Le 25/02/2024 à 11h 39

La personne en costume cravate sur l'illustration n'est pas un chercheur mais Gabriel Attal, l'actuel Premier Ministre.

Le 24/02/2024 à 12h 21

C'est pas un drame en soit, la discipline de l'intelligence artificielle regroupe beaucoup de domaines dont le deep learning (qui l'a d'ailleurs faite beaucoup progresser). Le terme est donc aussi générique que le sont "informatique", "numérique", ou encore "internet" (car pour ce dernier on l'assimile majoritairement avec le Web).

Le 24/02/2024 à 00h 35

Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.

Stable Diffusion avec les LoRA adaptés peut faire à peu près tout ce qu'on veut.

Par contre des modèles plus encadrés et maîtrisés comme DALL-E ou Midjourney, je pense que c'est moins évident car les filtres risquent de se déclencher.

(d'ailleurs au passage, Stable Diffusion 3 a été annoncé vendredi)

Le 23/02/2024 à 13h 55

C'est pour ça que je préfère faire tourner du Stable Diffusion chez moi plutôt que de devoir subir des positions dans lesquelles je ne me reconnais pas et qui provoquent des résultats contre productifs. Je tiens à garder une certaine maîtrise de l'usage de l'outil pour correspondre à mes attentes.

Une feature intéressante de la GUI que j'utilise, InvokeAI, est le Dynamic Prompt justement. Plutôt que de demander 150 critères au modèle, on lui passe une liste de choix possibles pour les éléments qui nous intéressent (exemple : a photo of {dogs|cats}), puis le front itère sur les combinaisons données. Voire aussi l'utilisation des fonctions swap ou blend qu'il propose sur les prompts, mais malheureusement je n'ai pas assez de ressources pour les exploiter. En attendant je combine les résultats qui m'intéressent via l'inpainting. L'autre possibilité ensuite pour améliorer les capacités du modèle (qui reste contraint par ses limites issues de l'apprentissage) est d'utiliser des LoRA, ou encore des ControlNet.

Le 23/02/2024 à 17h 14

Ca me fait à chaque fois penser à ceux et celles qui scandent "facho" au moindre désaccord... et on en revient donc à mon commentaire précédent.

C'est le débat des étiquettes. Plutôt que de discuter sur un sujet, on préfère coller des étiquettes aux personnes puis les attaquer sur ces assignations arbitraires.

Cette répugnante pratique est, pour moi, l'exemple parfait des intervenants qui ne viennent que pour polémiquer et non échanger. En soit, ce n'est rien de plus que de l'attaque personnelle, mais couplée à une erreur fondamentale d'attribution.

Le 22/02/2024 à 17h 53

C'est pour ça qu'à titre perso les données les plus sensibles sont chiffrées par mes propres biais (le reste étant une acceptation du risque). Contraignant, mais de dehors de ce manque, je suis pleinement satisfait du service.

Le 22/02/2024 à 07h 37

Je me demandais si leur compatriote Infomaniak allait réviser lui aussi ses tarifs pour l'offre gratuite, mais en fait j'ai remarqué qu'ils avaient déjà été revus à la hausse lors de la dernière refonte de l'offre. Par contre celui-ci n'a pas le même niveau de confidentialité que Proton, le EEE n'étant pas encore supporté.

Le 22/02/2024 à 17h 50

En effet c'est aussi possible, je sais que ma GTX1080 n'est pas forcément recommandée pour Stable Diffusion (même si ça marche bien) car il lui manque quelques instructions utiles pour certains calculs. Mais c'est pas impossible que ce soit aussi causé par des paramétrages software du LLM.

Le 22/02/2024 à 13h 31

Le mot hallucination est d'ailleurs désagréable à mes oreilles : il renforce l'idée que c'est "intelligent" et qu'il est trompé par un événement/une intervention extérieure, alors que c'est juste une réponse "statistiquement valide" (selon le modèle)

Ce n'est pas un événement ou une intervention, le modèle n'est pas "trompé" quand il hallucine. C'est d'ailleurs même la définition d'hallucination : percevoir quelque chose qui n'existe pas en l'absence de stimuli externe. Dans le cas du LLM, il tombe simplement dans un embranchement statistique produisant un résultat incohérent par manque de données d'entraînement.

On utilise souvent le terme d'une façon péjorative, mais en réalité c'est bel et bien une feature de l'IA générative. ce n'est pas un bug pour reprendre la vieille expression, c'est sa "créativité". C'est notamment la température qui permet de rendre le modèle plus ou moins créatif. Une température à 0 le rendra déterministe avec de très fortes chances de toujours produire le même résultat. Zéro n'est pas recommandé, mais une température basse l'est pour la traduction ou la génération de code par exemple. Par contre, une température moyenne est plus adaptée au cas d'usage d'un chat bot. Trop haute, le modèle peut devenir un peu trop "créatif" par contre et risque de divaguer.

Dans tous les cas, l'hallucination est inévitable pour un LLM. Ce ne sont pas des bases de données ou des indexes, mais des modèles statistiques dont le traitement contient une part d'aléatoire (paramétrable, mais présente). Donc il y aura toujours des résultats incohérents ou incorrects. Il faut juste apprendre à faire avec. C'est notamment pour ça qu'en matière de génération d'image, on fait des batchs de plusieurs résultats pour un prompt, y compris avec la même seed.

Le 22/02/2024 à 12h 54

Au vu de l'explication sur la page status, ça sent le paramétrage du LLM qui semble avoir été modifié et mis des valeurs entraînant un comportement beaucoup plus aléatoire.

Les params d'un LLM permettent de le faire agir d'une façon stricte ou de plus en plus créative. Mal dosé, le comportement peut devenir erratique et complètement aléatoire.

Ca n'a rien à voir avec une question de surveillance ou d'encadrement, à moins qu'on ne veuille légiférer sur les paramètres de température, top_k, top,p, la pénalité de répétition, etc, qu'on donne au modèle pour le requêter... C'est juste une MEP foireuse comme on en a tous les jours sur le Web.

Le 21/02/2024 à 18h 05

En fait, en premier lieu il convient de se retirer de la tête le biais du "méchant patron contre les pauvres employés". Des entreprises de merde, il y en a plein. Des entreprises où ça se passe plus ou moins bien, aussi.

Et surtout, surtout, surtout, ne pas prendre en compte les grandes entreprises comme référence pour éviter l'effet de loupe sur les parachutes dorés et autres éléments "chocs". Même si en volume elles brassent beaucoup, surtout financièrement en fait, elles restent une minorité (INSEE 2021). La majorité des entreprises en France sont des micro entreprises, et, cumulé, les PME emploient presque autant de salariés que les Grandes Entreprises.

Perso j'ai vécu le management de merde des grandes entreprises, dont une du CAC 40, et j'ai pu expérimenter aussi les structures plus petites... La seule comparaison que j'en ferais, c'est surtout qu'en GE, les postes sans valeur ajoutée sont légion. De mon expérience, plus une organisation devient grosse, plus elle devient source de gaspillage et de friction. On fait souvent bien mieux avec peu qu'avec beaucoup, j'ai pu le voir dans les contextes où les restrictions budgétaires imposaient de grosses limitations versus ceux qui claquaient par la fenêtre (époque qu'on pourrait croire révolue, mais non, y'a encore trop de gaspillage).

Le 21/02/2024 à 17h 22

Je ressens plutôt le contraire. Il y a eu une grosse mouvant NoSQL il y a quelques années. Les gens se sont aperçus qu'utiliser une techno parce que c'est la techno du moment est une mauvaise idée sans avoir de réel prérequis.

J'ai jamais dit que c'était le meilleur choix

Après n'étant pas architecte logiciel, perso je ne sais pas spécialement le challenger. Mais depuis une paire d'années, je ne vois plus que ça sur les projets. A tort ou à raison ou par effet de mode, effectivement toutes les bonnes ou mauvaises raisons sont possibles.

Le 21/02/2024 à 07h 34

Oui clairement la tendance depuis quelques temps est plus le NoSQL.

Les PostgreSQL qu'on fait pop dans mon expérience, c'est plus par prérequis éditeur historique qu'autre chose. Oracle DB j'en parle pas, c'est juste à cause de vendor lock.

Le 21/02/2024 à 13h 03

La fin des grandes applications monolithiques et l’arrivée du cloud ont permis l’éclatement du code et le grand avènement des microservices. À la clé, une redondance améliorée et la possibilité de laisser un service accessible pendant des opérations de maintenance. Les conteneurs convenaient parfaitement aux microservices par leur souplesse.

Ah c'est tellement beau dans la théorie.

Dans la réalité, les gros progiciels historiques qui se sont "containerisés" ont simplement fait un gros paquet avec une image pleine de bordel qui prend 8GB de RAM et 4CPU pour tourner. Et pas que, même des devs internes mal architecturés sont comme ça.

Ouep, de la VM dans du conteneur sur de la VM.

Le 20/02/2024 à 18h 08

Tout dépend de la finalité de l'entraînement.

Si l'idée pour Twitter est, par exemple, d'entraîner un modèle pour évaluer la propagation de fausse information ou de prédire l'aspect viral d'un propos, c'est le meilleur endroit possible.

C'est aussi une bonne source pour apprendre au modèle à lire de nombreux types d'écrits, y compris avec une grammaire pauvre ou erronée, ainsi que les niveaux de langue, niveaux d'expression, etc. Une des fonctionnalités d'un LLM est, par exemple, de pouvoir évaluer le sentiment d'un texte : agressif, triste, ironique, etc. Pour ça, les repères à shitstorm du Web ça me semble être une bonne source.

Le 20/02/2024 à 17h 59

Pas très wise comme achat.

Après perso, je me dis, quitte à être maté par une caméra avec des risques de voir sa vie privée exposée, autant rentabiliser l'affaire la brancher à un site de webcam adulte en ligne. Au moins ça rapportera des sous.

Le 19/02/2024 à 17h 50

Non ça je confirme, LLaMA sur ma 1080 c'était déjà très difficile. Ces modèles demandent plus de ressources que du Stable Diffusion pour la génération d'image.

Le 19/02/2024 à 14h 22

J'ai cru voir passer des articles de personnes ayant fait tourner le modèle sur du M1 Apple avec 16GB de RAM. Mais je pense qu'il s'agissait de Mistral et non de Mixtral.

Mais apparemment les perfs en CPU-only sont dégueulasses.

Le 19/02/2024 à 13h 22

Je pense que ce doit être Mixtral-8x7B derrière

Réponse reçue du support, c'est bien le modèle utilisé par Infomaniak.

Le 19/02/2024 à 11h 45

Yep les perfs sont vraiment bonnes. De mon côté c'est surtout de la latence avec Infomaniak qui doit avoir une capacité limitée (ils doivent ajouter du GPU pour permettre de l'entraînement prochainement), mais je n'ai eu que 3 ou 4 gateway timeout sur une quarantaine d'essais.

Après mes premiers tests ont été bourrins, j'ai voulu expérimenter mon use-case sur des prompts à 10k tokens

Le 19/02/2024 à 08h 25

1.5 Pro est le premier modèle de la génération à être disponible. Il est utilisable avec une fenêtre contextuelle standard de 128 000 jetons (la génération 1.0 en avait une de 32 000).

Au même niveau que GPT-4 Turbo chez OpenAI/Microsoft en gros.

Pendant ce temps là, j'ai testé ce week-end (vu que j'y ai eu l'accès) le Mixtral proposé par Infomaniak et c'est pas dégueux. Je pense que ce doit être Mixtral-8x7B derrière - qui semble d'ailleurs avoir le même type d'architecture que Gemini - j'ai demandé au support s'ils pouvaient me le confirmer (avec au passage les limites d'usage, c'était pas spécialement indiqué). Les temps de réponse sont encore assez longs, mais après une bonne série d'étapes de tests j'ai pu avoir un system prompt qui retournait ce que j'attendais, le tout emballé dans un front web bricolé maison (avec estimation du coût de la requête). L'offre propose 1 millions de tokens en démarrage avant de facturer, valables jusque fin mars me concernant. Avec tous mes essais du wenk-end (dont des prompts à 12k), je suis à 850k restants, autant dire que j'ai encore de la marge. En limitations j'ai parfois noté qu'il avait tendance à rebasculer en anglais malgré un prompt (voire system prompt) en français.

Mais plus j'ai avancé, plus j'ai de moins en moins envie de renew l'abo ChatGPT Plus. J'ai fait quelques comparaisons entre GPT-4 et Mixtral proposé via kChat, notamment pour l'assistance à la génération de code, et c'était relativement proche. L'API permet de générer pas mal de params pour tuner le comportement du modèle. J'ai pas fait le calcul de combien la limite de 20€/mois de dépense que j'ai fixé (minimum syndical autorisé) me reviendrait, mais je pense que ça sera rentable.

Les acteurs européens ont besoin de plus de visibilité !

Le 19/02/2024 à 08h 11

C'est valable aussi pour le FinOps d'ailleurs (et une des raisons pour lesquelles je trouve stupide dans certaines entreprises quand je vois les dashboard billing inaccessibles).

Le 18/02/2024 à 19h 01

Bah quand j'y suis allé, le repas c'était sandwich à la station service à côté, autant dire que c'était pas le grand luxe

Le 18/02/2024 à 12h 48

Après, ça peut faire l'objet d'une visite intéressante. Donc bon ^^

Pour l'avoir faite l'année dernière, la visite du CERN c'est vraiment intéressant et bien expliqué.

Le 17/02/2024 à 12h 02

Ca perso j'attends de le voir dans les faits car, jusqu'ici, tout ceci s'est avéré être un échec. Il me semble que les récentes fausses images de Taylor Swift ont été produites avec Azure OpenAI Service alors que le service a pourtant des filtres de contenus.

Quant à cette certification C2PA, j'ai toujours pas compris en quoi cela est une garantie.

Le 17/02/2024 à 10h 08

On vas vraiment vers un futur ou l'image ne sera vraiment plus un gage de réalité, déjà que ce n'était plus le cas avec les détournements.

Ca fait très longtemps que l'image n'est pas gage de réalité, elle a énormément servi à représenter de l'imaginaire pourtant affiché comme réalité (notamment les fresques religieuses).

Et même si on reste dans la photographie, une vraie photo d'un vrai sujet pris dans un environnement bien réel peut tout autant être fausse qu'une image générée. Filtres "améliorant" sur les smartphones (immondes), mise en scène, composition, simple cadrage et l'image ne veut plus "dire" la même chose. C'est même une base des fake news : sortir une image de son contexte pour lui attribuer un autre sens.

Et même sans aller jusqu'à la désinformation, du faux il y en a plein les sites de stock photo, sur lesquels l'IA générative est en partie entraînée. Quand je compare mes propres photos faites à Venise avec celles des banques d'images, je me suis vraiment demandé si je suis allé dans la même ville. Pourtant en juin avec 5 jours de soleil et pas un nuage dans le ciel, la ville n'était clairement pas aussi colorée et criarde qu'on peut voir en image. Là où mes clichés étaient plus proches des couleurs et de la luminosité réelles, rendant l'image plus "fade" comparé aux autres. Après il suffit de faire un test simple : prendre en photo un sujet avec son smartphone et comparer le rendu. Il y a tellement de filtres appliqués de base que l'image est complètement faussée. Et ne parlons pas des photos de mode où c'est 40% de maquillage et 60% de photoshop.

En fait, si auparavant c'étaient le cinéma, les magazines, ou encore la télévision qui diffusaient des fausses images (films, etc), depuis le web des médias sociaux et le contenu produit par les utilisateurs, c'est désormais la norme de diffuser du faux partout. L'IA générative et ses productions toutes aussi fausses ne font que de s'inscrire dans cette norme d'usine à contenu imaginaires présentés comme réalité.

Après est-ce que c'est mal ? Je sais pas, mais à minima, il faut juste être conscient que l'image diffusée est très rarement vraie de nos jours. Que ce soit en tant que composition visuelle ou message qu'elle cherche à faire passer. Il faut donc une éducation pour savoir appréhender celle-ci : développement du sens critique, recherche croisée, etc.

Le 16/02/2024 à 21h 43

StabilityAI avait lancé il y a quelques temps de la génération d'image animée aussi. C'était assez dégueulasse par contre.

Mais c'est effectivement un exercice beaucoup plus complexe et lourd que de retenir le contexte d'une conversation texte.

Cela dit, le rendu visuel est impressionnant malgré les erreurs. Un peu trop même je trouve et j'ai eu le même sentiment qu'un trailer de jeu vidéo avec écrit en tout petit dessus "not actual in game render". Je ne saurais dire quelle confiance j'accorde à ces rendus, ayant toujours des réserves quant à la communication d'OpenAI.

---

Sinon rien à voir, j'ai eu accès ce jour à l'API LLM d'Infomaniak, basée sur Mixtral. Jusqu'ici, ça roule plutôt bien en dehors de régulières erreurs 504 probablement causées par une capacité infra encore limitée par l'hébergeur. J'ai eu des résultats un peu variés pour un même system prompt mais ce genre de chose demande un peu de tuning (et mon script python fait selon la norme ISO-1664 n'aide pas, je me ferai un petit front plus sexy en mode chat bot). Pour le moment j'ai testé comme use-case de lui demander d'être un relecteur de texte et pointer les erreurs de français, tournures, etc.

Le 17/02/2024 à 10h 16

En fait, le plus important dans cette histoire c'est que c'est vraisemblable et qu'il faut faire attention à garder le contrôle d'une IA et de lui donner des limites fortes.

C'est pour ça que personnellement, je présente l'IA comme un stagiaire.

Elle n'est pas autonome, on est responsable d'elle, elle doit apprendre, on doit cadrer son travail, on ne lui donne pas les clés de sa production.

Après, faut aussi faire attention à l'usage de l'expression "IA" qui englobe tout et n'importe quoi... Un algo déterministe mal branlé restera aussi foireux qu'un modèle statistique tombant dans des embranchements pour lesquels les informations viennent à manquer. Et comme le modèle doit produire un résultat, ben celui-ci est de très faible qualité.

Comme un stagiaire à qui on demanderait de redévelopper le SI de sa banque en COBOL alors que la personne n'a que 1 an de Java dans les pattes.

Le 16/02/2024 à 07h 32

Concernant le moteur de recherche, perso je l'ai laissé tombé depuis un bail au profit de Startpage (boîte européenne).

Le 14/02/2024 à 20h 00

Sauf qu'un LLM n'est pas "intelligent" dans le sens oui il ne va pas trouver les détails particuliers qui ne lui ont pas été appris spécifiquement.

C'est justement ça qu'on appelle l'étape de fine-tuning, spécialiser le modèle pour une certaine finalité.

L'analyse de texte ou encore émotionnel, ça marche très bien. De même qu'ils arrivent de mieux en mieux à percevoir les tournures et styles d'expression du type humour, ironie, etc. Perso ça fait désormais un an que je pratique l'usage de ces outils. Ca m'a appris à ne pas sous-estimer leurs capacités tout en évitant de trop en attendre, un exercice d'équilibriste qui n'est pas simple.

Le 14/02/2024 à 19h 14

Pour le coup j'ai voulu essayer par curiosité. Mail [email protected] considéré comme invalide.

soupir

Edit : my bad, je me suis encore fait avoir par le fait que c'était l'écran de login. Déformation par habitude des sites qui brandissent un formulaire d'inscription en grand avec un "sign in" en tout petit en bas.