votre avatar Abonné

SebGF

est avec nous depuis le 16 septembre 2009 ❤️

Bio

Oups.
On dirait que quelqu'un ici aime garder ses petits secrets, comme si de par hasard il y avait quelque chose à cacher...
Désolé, ô lectrice de passage, cher lecteur égaré, pas de révélation sensationnelle pour le moment sur ce profil.
Repassez plus tard ?

Site personnel

https://zedas.fr

12787 commentaires

Façade du bâtiment du New York Times

Hier à 18h 10

Le "bug" en question serait, si j'ai bien compris, de l'exploitation de faille en soumettant des prompts très orientés incluant des morceaux de texte attendus. Une façon de biaiser le moteur statistique derrière pour orienter ses calculs de probabilité et reproduire au plus fidèle le contenu d'articles du New York Times. Cela rappelle la faille qui permettait de faire cracher des données d'entraînement en répétant plusieurs fois le même mot dans un prompt.

Egalement, la démonstration d'OpenAI indique que seuls de cours extraits (une centaine de mots) ont été produits pour des articles de plus de 16 000.

Autre élément intéressant qui a été mis de côté, toujours de ma compréhension à la lecture du rapport d'audience, les griefs indiquant que ChatGPT imitait le style journalistique du New York Times. Il a été rappelé qu'aux USA, il n'est pas possible de copyright un style artistique, ce n'est pas suffisamment discriminant (ex : copyrighter l’impressionnisme).

logo apple en devanture de boutique

Hier à 14h 27

> Ce dernier existait depuis au moins 2014 et visait le développement d’un véhicule électrique.

En même temps il aurait fallu refaire toutes les routes du monde car les iWheels n'étaient compatibles qu'avec les iRoads. Et refaire tout le parc de bornes de recharge pour prendre en compte les nouvelles iPlugs.

des journaux

Hier à 13h 42

Et désormais l'IA est aussi un vecteur d'attaque. Après les packages malicieux inspirés des hallucinations des modèles, les attaques par supply chain.

Hier à 13h 40

"De mon expérience d'utilisateur de GPT (donc pas que ChatGPT) : un texte généré par GPT, ça peut se reconnaître facilement quand c'est fait avec des prompts basiques."
Je doute que la majorité des personnes aient ta compétence et ton expérience et soient capables de s'en rendre compte.
Sinon, +1 pour ton analyse.

D'où le fait qu'un retour d'expérience, ça se partage :)

Comme à l'époque où FranceInfo avait proposé un article pour reconnaître les images générées par IA avec les défauts connus de l'époque. Critères qui sont un peu moins valables de nos jours en raison des améliorations que les générateurs ont depuis. Mais y'a toujours des détails qui trahissent.

Hier à 07h 37

> Attention à ne pas tirer de conclusions hâtives en regardant ce que peut faire un outil généraliste d'IA générative mal utilisé sur la qualité de ce que peut produire un outil spécialisé entraîné sur cette tâche comme celui de Google (ou d'un autre) pour générer des articles d'information à partir de données en entrée qui elles sont vraies.

Je pense que Mathilde écrit ça en ayant en tête ce qu’est fondamentalement une IA actuelle : un "LLM", donc un modèle probabiliste, pas une capacité de compréhension véritable (au sens humain de la chose).

Sans m’étendre sur le sujet, et sans vouloir (plus ? :eeek2:) prétendre ce que veux dire Mathilde, je laisse juste un article (de Développez.com) sur le sujet des (actuelles) IAs / LLMs qui remet essai de rappeler comment le tout fonctionne, pour éviter que les gens ne succombent au charme du "marketing IA"

> Je pense que Mathilde écrit ça en ayant en tête ce qu’est fondamentalement une IA actuelle : un "LLM", donc un modèle probabiliste, pas une capacité de compréhension véritable (au sens humain de la chose).

Les LLM ne sont qu'une des formes d'IA générative (un modèle de diffusion n'est pas un LLM), celle-ci étant une des finalités de la discipline qu'est l'IA. Rapporter l'IA aux LLM est donc assez réducteur. (Whisper est une IA)

L'IA, c'est surtout le machine learning et le deep learning et oui, ça reste énormément basé sur des statistiques et de la probabilité puisque le but de l'IA est de produire un système capable de traiter une problématique avec peu d'entrants. Comme l'humain qui traite de la même manière un problème en émettant des hypothèses et des prédictions puis en les vérifiant.

A garder en tête néanmoins que si un LLM ne comprend pas le sens des mots, il a une compréhension sémantique et c'est ça qui lui permet de fonctionner.

Le 28/02/2024 à 18h 46

> Les hallucinations et autres restitutions mot pour mot d’articles qui ont mené à la plainte du New-York Times contre OpenAI, par exemple, posent en effet des problématiques financières autant que de sauvegarde de l’intégrité de l’information dans l’espace public.

Sur ce point OpenAI a annoncé que le New York Times aurait utilisé un bug et un prompt trompeur en fournissant des extraits au modèle pour qu'il les recrache. Ca reste un modèle statistique, et les stats, ça se biaise depuis bien avant la création de l'IA en tant que discipline de recherche.

> Et vous, lectrices, lecteurs, votre avis ?

L'iA générative est un formidable outil qui, pour moi, est une révolution dans les usages de l'IT. Notamment en matière d'interaction humain-machine. Comme tout outil, il a ses forces et ses faiblesses.

Le problème est qu'il est utilisé par des abrutis opportunistes, mal utilisé, et qu'il y a beaucoup trop de bullshit, d'info anxiogène voire de mensonge par omission à son sujet, entraînant un biais quand à sa compréhension. Notamment alimenté par les entreprises productrices de ces produits, OpenAI étant vraiment horrible en matière de bullshit-o-meter. L'IA générative n'est pas un système autonome, elle ne peut pas remplacer quoique ce soit. Par contre elle est extrêmement efficace sur l'analyse, synthèse et étude de documentation. D'ailleurs j'ai souvenir d'une interview d'un doctorant dans le domaine sur France Info il y a quelques mois qui disait que l'IA était utilisée depuis plus longtemps que le buzz ChatGPT dans le journalisme, le Monde l'aurait exploitée notamment pour couvrir la présidentielle française pour aider à la synthèse et au recoupement d'information.

On est dans une ère où l'information (au sens donnée) est produite et circule à une vitesse hallucinante. Quasi pareil que le trading haute fréquence des échanges boursiers. L'humain est incapable de suivre et traiter ça sans mettre derrière une armée de mexicains qui, de toute façon, mettra trop de temps à produire un résultat. L'apport de l'outil est donc indéniable pour faciliter ce travail d'analyse.

Ce qui manque, c'est pas du pointage du moindre dérapage à monter en mayonnaise pour faire du buzz, mais plutôt une ligne équilibrée mêlant explication du fonctionnement, démystification car c'est pas magique, ses capacités, ses limitations, la réalité versus les fantasmes, les bonnes pratiques, et les mauvais usages à éviter. Comprendre le fonctionnement d'un système est essentiel pour savoir comment l'exploiter au mieux, mais aussi, déceler les mauvais usages visant à tromper. (mon offre pour vous proposer du contenu sur ce point tient toujours)

De mon expérience d'utilisateur de Stable Diffusion : l'image générée par IA, ça se reconnaît assez vite. Quand on produit un grand nombre d'image, on apprend à identifier rapidement les défauts. Au même titre qu'en tant que photographe amateur, les défauts sur mes séries de clichés me sautent à la tronche direct.

De mon expérience d'utilisateur de GPT (donc pas que ChatGPT) : un texte généré par GPT, ça peut se reconnaître facilement quand c'est fait avec des prompts basiques.

Deux requins étiquetés par portions avec les marques des entreprises d'IA génératives nagent dans l'océan

Le 28/02/2024 à 23h 15

> Un plugin WordPress peut valoir session de la propriété intellectuelle du contenu d'un site ? C'est compatible avec le droit français ce genre de clause ? Si oui, j'en suis très étonné.

s/session/cession/ :cap:

Là on parle du droit US donc je ne me prononcerai pas.

En droit français, on distingue deux éléments dans le droit d'auteur :

- Les droits moraux
- Les droits patrimoniaux

Les droits moraux sont perpétuels, inaliénables et imprescriptibles. Ils protègent les intérêts non-économiques de l'auteur. Les droits moraux sont acquis de facto à la création de l'oeuvre sans autre démarche. Les droits moraux concernent le droit de divulgation (comment l'oeuvre est révélée au public), paternité (apposer son nom à l'oeuvre, ou un pseudo), respect de l'intégrité de l'oeuvre (s'oppose à toute modification sans accord), et le droit de retrait ou repentir (supprimer l'exploitation d'une oeuvre à son entière discrétion).

Les droits patrimoniaux sont cessibles et ne couvrent que deux éléments : droit de représentation (autoriser la diffusion de l'oeuvre au public), droit de reproduction (copie de l'oeuvre, ex : tirage de bouquin, CD, etc).

Dans le cas du crawling de contenu pubic, pour moi c'est là que c'est intéressant car il n'est, de mon point de vue, pas spécialement interdit d'entraîner un modèle IA sur des données publiques. Par définition, une diffusion publique signifie qu'elle n'est pas contrôlée ni restreinte. Si l'oeuvre est diffusée de cette manière, l'auteur accepte qu'elle soit lue par n'importe qui et n'importe quoi. Auquel cas il réduira la portée de lecture. A noter que l'entraînement d'un modèle IA n'est pas une reproduction du texte, mais un apprentissage du poids des relations entre les mots (version hyper méga simplifiée). Le modèle n'apprend pas un texte par coeur, il apprend à lire, c'est une subtile nuance.

Dans le cas des plateformes comme Wordpress, Tumblr, ou Reddit dernièrement, elles se protègent par leurs CGU qui doivent très certainement indiquer que les usagers cèdent un droit d'exploitation des contenus au détenteur du service.

Est-ce légal vis à vis du droit d'auteur US ? Aucune idée, et là bas la notion de contrats et d'accords a une valeur symbolique un peu plus importante que chez nous. Les procès dans le domaine nous donneront surement des réponses.

En France, à ma connaissance il n'y a pas de procédure intentée en contrefaçon concernant l'entraînement de modèles d'IA sur des contenus publics sous droit d'auteur ou bien sur ce type de service en ligne.

Le 28/02/2024 à 19h 07

Je suggère d'envoyer un mail à l'adresse du support technique disponible dans la page de gestion de compte : [email protected]

Le 28/02/2024 à 18h 54

La donnée pour l'entraînement d'IA est clairement le nouvel el-dorado pour les plateformes en manque de sources de financement supplémentaires.

J'ai hâte de voir la news disant que OnlyFans vend ses contenus pour entraîner les modèles de génération d'image tiens.

Mais bon, ces plateformes se couvrent aussi avec leurs CGU en disant qu'elles sont libre d'exploiter les contenus produits par les utilisateurs comme bon leur semble. A partir de là, à moins d'une grosse procédure visant à les invalider, elles sont couvertes.

Comme quoi, je suis bien content de mon blog hébergé chez un provider auquel j'ai confiance et maintenu par moi-même avec Hugo. Certes il est ramassé par les collecteurs puisque je n'ai spécifié aucun robots.txt cherchant à le bloquer, mais au moins je maîtrise ce que je choisis de publier et diffuser.

logo de Mistral AI

Le 28/02/2024 à 21h 13

bah, ma source c'est l'article de Reuters cité dans la news.

MS a dit que l'investissement sera converti en parts (equity), donc un pouvoir de décision. Et c'est justement ce que Ms n'avait pas avec OpenAI. Donc tout le monde pense, à juste titre, que si Ms a choisi d'investir dans Mistral alors qu'il a déjà un partenariat exclusif avec OpenAI c'est justement pour avoir ce pouvoir de décision et verrouiller ce LLM. L'annonce dans la foulée que le LLM est dispo sur Azure semble conforter l'avis général.

A noter aussi que si aujourd'hui Large n'est dispo en managé que chez Azure, le reste des modèles open-weight de Mistral est disponible chez les 3 gros CSP du marché (Azure, GCP, AWS + Nvidia, mais aussi Infomaniak en acteur européen.

De plus, Large reste un produit auto-hébergeable même si son accès est, hélas, plus restreint que Mistral 7B et Mixtral 8x7B qui sont open-weight en raison de sa nature commerciale.

Donc à cet instant, il me paraît prématuré de clamer que le modèle a été ou sera verrouillé par Microsoft car sinon l'offre on-premise n'aurait jamais été proposée (même si on ignore ses conditions, mais au vu de la faible description, j'imagine qu'ils proposent tout simplement de télécharger le modèle sous contrat de license comme n'importe quel progiciel). Même si ce deal reste à surveiller car, à titre perso, il m'inquiète quand même.

Après, il serait opportun que la rédaction de Next contacte Mistral pour voir si des conditions commerciales publiques peuvent être retransmises dans la presse si ce n'est déjà fait.

Le 28/02/2024 à 19h 03

Toujours pas d'exclusivité dans l'article de Reuters en lien :
>But lawmakers were taken by surprise on Monday, when Microsoft announced it had made a 15-million euro ($16 million) investment in Paris-based Mistral, and would soon make the company's AI models available via its Azure cloud computing platform.
C'est le seul endroit où Azure est cité.

Ça serait bien que tu vérifies tes affirmations.

Quant aux16 millions de $ par rapport aux 2 milliards d'€, ça fait 0,75 % du capital et encore, comme ça sera converti en actions lors du prochain tour de table, ça fera encore moins. Je doute que ça soit un pouvoir de décision significatif.

Ça ressemble plus à une très petite prise de participation à l'occasion du partenariat sur Azure comme ça se fait, mais ce n'est pas pour prendre le pouvoir ou sinon ça aurait été beaucoup plus et Microsoft a montré avec OpenAI qu'ils avaient les moyens de mettre beaucoup.

A noter un petit détail, La Plateforme dite sur l'infrastructure de Mistal est chez Azure aussi, hébergée dans la région Sweden (pas étonnant, une des seules régions Azure d'Europe capable de porter de l'IA en ce moment avec Norway et France Central, le reste est ras la gueule...).

Terms of Use => Privacy Policy => Point 6.

> Our main providers are:
>
> Azure: to host the Platform and any data associated with Our Services. The Platform and the Data are stored in Sweden.

The platform correspond bien à La Plateforme.

> “Platform”: means the platform operated by Mistral AI, available at http://console.mistral.ai.

Cette plateforme est antérieure à l'annonce du deal.

Le 28/02/2024 à 07h 42

Il serait vraiment regrettable qu'on perde un acteur européen aussi bien avancé dans le domaine. Surtout que, contrairement à OpenAI, le risque de rachat est une réalité puisque MistralAI est une entreprise (là où OpenAI est une structure double composée d'une entreprise et d'une ONG).

L'autre point vraiment dommageable, c'est que Large, et potentiellement les autres modèles à venir du développeur, n'est pas en open weight. Ce qui trahit l'engagement affiché précédemment qui a été effacé de leur site si j'en crois quelques éléments vus sur le sujet. C'est vraiment regrettable car le produit (en tous cas Mixtral 8x7B, j'ai commencé à tester un peu Large aussi via leur Chat) est de bonne qualité et encourageant.

J'espère qu'on ne sera pas dans une politique d'auto sabordage comme on aime le faire pour donner plus de visibilité injustifiée aux acteurs US.

Logo de Twitter et de X

Le 28/02/2024 à 17h 57

Il n'y a aucune raison que ses messages soient modérés. Il dit à peu près la même chose que moi sur un point précis de droit.

Et à le lire, ce n'est pas parce qu'il affirme quelque chose qui te déplaît qu'il est pour autant dans la haine des LGBT. Je pense même que c'est le contraire en lisant son premier commentaire.

Ce n'est pas parce que nous disons tous les deux que la loi n'interdit pas de ne pas aimer les trans parce qu'ils sont trans que nous ne les aimons pas non plus.

Les gens merci d'accepter la nuance sur les sujets compliqués, être binaire n'apporte rien à la discussion et est faux juridiquement. Comme je l'ai dit, souvent, dire que l'on n'aime pas une catégorie de gens passera pour de l'incitation à la haine (interdite par la loi), mais pas tout le temps, ça dépendra du contexte.

Allez lire sur service public ce qui est interdit.
En particulier ce passage :
>À l'inverse, l'auteur d'une incitation à la haine cherche non seulement à convaincre les témoins de ses propos, mais aussi à les pousser à agir. Les propos doivent avoir été prononcés dans des termes et dans un contexte qui impliquent la volonté de leur auteur de convaincre d'autres personnes. Par exemple, si on dénigre un groupe religieux et qu'on invite invite d'autres internautes à commettre des actes violents contre eux.

Lire aussi l'article 24 de la loi du 29 juillet 1881 sur la liberté de la presse pour le texte précis.
auront provoqué à la discrimination, à la haine ou à la violence à l'égard d'une personne ou d'un groupe de personnes à raison de, c'est ça "l'incitation" dont on parle dans le langage courant.

> Les gens merci d'accepter la nuance sur les sujets compliqués, être binaire n'apporte rien à la discussion et est faux juridiquement. Comme je l'ai dit, souvent, dire que l'on n'aime pas une catégorie de gens passera pour de l'incitation à la haine (interdite par la loi), mais pas tout le temps, ça dépendra du contexte.

C'est malheureusement la tendance des non débats : "si t'es pas d'accord avec moi c'est que t'es contre moi".

Le 28/02/2024 à 07h 36

Alors, disons que, on peut changer de religion, ou d'opinion politique.


Moi perso, je suis baptisé, et je m'en contrefiche de la religion, ça me passe au dessus.

Alors que, si t'es gay, bah t'es gay toi, tu peux te marier avec une personne de ton sexe opposé, faire des enfants avec, tu sera toujours gay, c'est immuable, dès la naissance.

Là je suis plus d'accord. Il y a des éléments pour lesquels on a pas le choix, mais qu'on peut changer par la suite (comme l'exemple de la religion ou des opinions politiques, la deuxième étant forcément influencée par l'expérience) tandis que d'autres non.

Sauf un détail dans la religion (et peut-être d'autres qui m'échappent, n'étant pas spécialement intéressé par le sujet), les hommes qui ont subit une circoncision rituelle devront garder ça toute leur vie. Et ça aussi, c'est pas un choix qu'ils ont eut.

Le 27/02/2024 à 21h 46

Sauf que : on choisit d'être d'extrême gauche, d'extrême droite, musulman.

On ne choisit pas d'être gay, trans, noir, petit, grand, blond, brun.

> Sauf que : on choisit d'être d'extrême gauche, d'extrême droite, musulman.

Je ne serais pas aussi catégorique personnellement.

Déjà, la religion est en grande partie imposée à un âge où la personne ne peut choisir. On lui inculque ça dans son éducation comme faisant partie d'elle et c'est même intégré à son enfance comme étant des étapes. Par la suite elle peut choisir d'être pratiquante ou non, mais ce non choix lui aura été tout de même imposé. Par contre la conversion peut être un choix (ou aussi un non choix car contraint). Pour ma part, j'ai eu la chance de ne pas avoir été baptisé à l'église catholique alors que cela reste une norme social en France imposée aux enfants (177k enfants entre 0 et 7 ans baptisés à l'église catholique en 2019, à rapporter aux 735k naissances la même année, perso j'appelle pas ça un choix).

Quand aux affinités politiques, là aussi j'aurais tendance à dire que c'est aussi une question d'entourage et d'éducation et que ça peut être aussi un non choix car considéré comme étant la normalité selon le contexte culturel.

C'est certes différent de l'orientation sexuelle, de l'ethnie, ou tout autre critère sur lequel on a moins, voire pas du tout, la maîtrise, mais je ne suis pas convaincu que ce soit exclusivement des causes internes.

logo de Mistral AI

Le 27/02/2024 à 18h 14

Après lecture des conditions d'utilisation du service Le Chat, il est important de noter que le seul moyen de pouvoir opt-out de la sauvegarde des prompts et résultats pour entraîner le modèle derrière est de passer par l'option payante.

En matière de traitement de données personnelles, ils invitent à anonymiser les prompts. J'ai des doutes que ce soit très légal du point de vue du RGPD pour le coup car le consentement ne me semble pas libre et éclairé.

> If You wish to exclude Personal Data (in a clear, identifiable form) from the Training Data, You must pseudonymize Your Prompts,
>
>Your must not include sensitive Personal Data in Your Prompts,
>
>You must not include sensitive business data such as, for instance, trade-secrets, know-how, etc, in Your Prompts.

Plus loin,

> Opt-out of the Mistral AITraining Data at any time by activating the relevant option on Your Account. In such a case, Mistral AI will not use Your Prompts and Outputs to train its Models. Please note that Your opt-out may only be effective for future Prompts and Outputs, as technical limitations inherent to the Chat Services may prevent Mistral AI from deleting all previously provided Prompts and Outputs from Mistral AI Training Data, even if you have opted out. Mistral AI may also use Your Prompts and Outputs to monitor abuse as set out in Section (Your User Data) of the Terms of Use.

Comme toujours, faire attention à ce qu'on donne à un modèle public. Ils ont une très bonne mémoire.

Perso je vais jouer un peu avec pour voir ce qu'il donne, mais clairement, je vais plutôt rester sur le Mixtral 8x7B proposé par Infomaniak qui me rassure plus en matière de confidentialité d'usage.

Le 27/02/2024 à 07h 35

Concernant Mixtral 8x7B je commence à avoir des retours d'expérience intéressants sur la pratique. Outre sa tendance à répondre sans aucune raison en anglais par moments, j'ai en fait l'impression qu'il travaille nativement ainsi. Dans mon cas d'usage de revue de texte, il "trouve" des erreurs qui n'existent pas.

Par exemple il me pointait à un moment un défaut de cohérence sur les guillemets (un coup anglais, un coup français). Ce qui était faux puisque le texte était entièrement avec les signes français. Pareil pour certains mots où il s'était basé sur leur version anglaise (exemple : il me disait de mettre un "e" à "guitar", qui était correctement orthographié dans le texte original). Enfin, j'ai noté parfois qu'il mangeait des tokens car j'ai eu "corriger sovnt en souvent". En fait, je me demande s'il n'aurait pas eu un entraînement insuffisant en français par rapport à l'anglais et donc qu'il manquerait de données.

Par contre, lorsque j'ai fait un dernier essai en le basculant en mode "Strict" (je ne sais pas si c'est un param "officiel" du modèle ou bien une surcouche côté Infomaniak pour éviter de manipuler trop finement la température, les top et les pénalités), le résultat fut bien meilleur qu'en "Standard". En Standard il est plus adapté pour du chat bot, et je pense qu'il est trop créatif dans ce mode. En Strict, il est plus déterministe et cela semble bien correspondre au use-case de correcteur de texte.

C'est vraiment intéressant de voir à quel point le comportement de ces outils peut changer juste avec quelques params.

Apple vs EU : le bras de fer

Le 26/02/2024 à 17h 40

> Pour Apple, Spotify devrait être reconnaissante

"Oui monseigneuuuuuur" (à dire avec la voix des péons dans Warcraft)

Espion numérique

Le 26/02/2024 à 13h 23

> Deux eurodéputées ciblées par le logiciel espion Pegasus

Pegasus ryu sei ken !

Bouygues telecom

Le 26/02/2024 à 13h 20

Perso ce qui m'amuse, c'est qu'on assiste à une nouvelle consolidation des telecom.

Début années 2000, beaucoup d'opérateurs Internet qui ont finalement été rachetés et consolidés pour arriver à l'état actuel avec 4 acteurs majoritaires.

Les MVNO ont été créés pour diversifier l'offre mobile et accélérer la concurrence, et depuis ils font également partie de la consolidation au profit des 4 acteurs.

FurMark 2

Le 26/02/2024 à 13h 17

Bah, pour ça j'ai Stable Diffusion et un nvtop en mode cocotte minute.

Côté pratique : le PC concerné étant sous le bureau, en hiver ça réchauffe les doigts de pieds.

54e vol d’Ingenuity

Le 26/02/2024 à 13h 11

Ne pouvant voir les medias intégrés twitter (et ne voulant pas ouvrir ce site dans tous les cas), quelques liens autonomes :

Image originale de la NASA

Zoom qui montre l'état d'Ingenuity.

Ariane 6 Canopée

Le 26/02/2024 à 13h 02

> avec la souveraineté spatiale en ligne de mir pour l’Europe.

Preuve que l'Europe est à la bourre, elle cible un truc qui s'est désintégré dans l'atmosphère en 2001 ! :langue:

(erreur signalée, mais commentaire pour la postérité car elle était belle)

Statistiques d'utilisation StatCounter de Google, Bing & Cie

Le 26/02/2024 à 08h 38

> Qui a déjà pesté de ne pas trouvé quelque chose en tapant une recherche dans le menu démarrer Windows ?

Tout comme je ne retrouve jamais rien dans Google Drive via la barre de recherche. :mdr:

Perso je préfère Startpage à Google Search, même si basé dessus, je ressens moins l'effet SEO sur la première page. Google en direct a perdu toute pertinence à mes yeux.

Le 26/02/2024 à 08h 35

J'avais vu cette info passer en septembre dernier, amusant qu'elle ressorte à nouveau. D'ailleurs Nadella avait même reconnu que Bing était plus mauvais, même si on parle d'un témoignage dans le cadre d'une procédure et donc que celui-ci est forcément un peu orienté.

Un mélange entre une réunion d’Anonymous et de tête d’ampoules, pour le meilleur et le pire

Le 26/02/2024 à 08h 28

Attention, je n'ai pas dit que c'était la même chose, mais que ça la remplaçait :D
Avant les gens s'abrutissaient devant la télé, maintenant, c'est sur les réseaux sociaux…

On dit la même chose, mais pas à la même échelle :transpi:

Pour moi : TV = web (diversité de contenus, bons comme mauvais), médias sociaux = TF1/M6/etc (diffuseur de contenus dans le but d'afficher de la pub).

Après je ne suis plus de chaine de TV depuis bientôt une dizaine d'années, donc je serai incapable de dire si ça a changé. En dehors de chaînes du service audiovisuel public dont je regarde parfois des contenus via leur replay.

Le 25/02/2024 à 16h 49

En résumé, les médias sociaux ne sont que du bruit inutile à mes yeux.

Je les vois comme les remplaçants de la télé : des créateurs de temps de cerveau humain disponible…

Perso non, car il y a deux choses différentes.

La "télé", c'est le Web : un support le communication et de diffusion. Il y a du bon comme du mauvais dessus.

Les médias sociaux, c'est effectivement la définition que Patrick Le Lay avait donné (Le Lay était connu pour être franc et cynique) quant à son métier en tant que PDG de TF1. A la fin des années 1980 il avait d'ailleurs déjà fait l'objet de polémiques en déclarant que le média était soumis aux chiffres de l'audimat et que diffuser une émission culturelle à 20h30 était un suicide économique.

Ces plateformes sont tout autant soumises aux mêmes règles et font tout pour créer de l'audience, via la violente addiction qu'elles provoquent en exploitant les mécaniques de notre psychologie.

Le 25/02/2024 à 11h 33

> Devenir viral ou mourir

J'aime la formulation, surtout qu'elle est bien liée avec le sujet d'après. Et perso j'ai pu constater aussi de leur impact sur la diffusion des écrits. Sur Amazon KDP (qui a une domination absolue sur la diffusion d'ebooks), j'ai un livre qui s'est vendu à autant d'exemplaires en deux semaines que des précédents en deux mois. Simplement parce qu'il est apparu pendant ce laps de temps sur la 1ere page des meilleures ventes de la catégorie dans laquelle il se situait. Depuis, il est passé en deuxième page, et c'est revenu au rythme auquel j'ai plus l'habitude.

Clairement, oui, les algorithmes des plateformes contrôlent la vie des personnes et ces géants ont droit de vie et de mort sur à peu près tous les contenus. La surveillance et le contrôle des populations n'est pas venu des Etats mais des entreprises privées.

Cela fait echo avec le constat selon lequel les artistes se doivent d'agiter les bras et faire du bruit en permanence sur les médias sociaux par eux-même.

> Pourquoi l'information semble avoir perdu sa place sur les réseaux sociaux

Pour moi, l'information n'a jamais eu sa place sur les médias sociaux (surtout qu'à la base ils n'ont pas été vendus ainsi, mais ce fut un moyen de rendre les utilisateurs captifs tout en rendant invisible les contenus qui n'ont pas les faveurs de la plateforme). Leur fonctionnement même basé sur les supposées "préférences" et autres contenus "tendances" est antinomique avec la notion d'informer en ce qui me concerne. L'information, c'est une chronologie car un fait peut évoluer dans le temps. Le buzz, c'est du spontané, ponctuel, et c'est oublié aussi vite que c'est arrivé, remplacé par un autre buzz et ça ne prend pas en compte le contexte.

En résumé, les médias sociaux ne sont que du bruit inutile à mes yeux.

dessin satirique de Flock

Le 25/02/2024 à 16h 51

J'avais raté ce fait marquant de l'actualité !

Je me disais bien que l'allure du chien n'était pas anodine car bien trop précise, mais pareil, dans la mesure où l'actu people m'indiffère je suis loin d'avoir été au courant. Surtout dans ce genre là où c'est juste de la polémique pour polémiquer.

Cela dit, le contraste est quand même bien amusant sur le dessin :D

Le 25/02/2024 à 11h 39

J'aime beaucoup le dessin, par contre j'aurais plutôt mis une blouse blanche au chercheur plutôt qu'une cravate. Sans la légende, j'aurais cru que c'était un commercial.

La personne en costume cravate sur l'illustration n'est pas un chercheur mais Gabriel Attal, l'actuel Premier Ministre.

Le 24/02/2024 à 12h 21

(d’ailleurs pardon je dis « IA » alors que c’est de l’apprentissage profond)

C'est pas un drame en soit, la discipline de l'intelligence artificielle regroupe beaucoup de domaines dont le deep learning (qui l'a d'ailleurs faite beaucoup progresser). Le terme est donc aussi générique que le sont "informatique", "numérique", ou encore "internet" (car pour ce dernier on l'assimile majoritairement avec le Web).

Le 24/02/2024 à 00h 35

Je suis d'accord avec toi.
Pour ta seconde question, ça devrait être possible, mais ce n'est pas certain d'après ce que l'on peut lire : Gemini a l'air de refuser de "générer des blancs" comme écrit ici en commentaire. Si c'est vrai, l'outil est inutile parce qu'il ne génère pas ce que l'on veut.

Le problème principal, ici, c'est que par défaut, il y aurait une génération de la diversité imposée par les concepteurs alors que ce n'est pas toujours pertinent.


Par contre, cela montre aussi que l'outil de Google ne fait pas que restituer des images connues, mais qu'il est capable de mettre un uniforme allemand sur un noir ou une asiatique. Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.

> Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.

Stable Diffusion avec les LoRA adaptés peut faire à peu près tout ce qu'on veut.

Par contre des modèles plus encadrés et maîtrisés comme DALL-E ou Midjourney, je pense que c'est moins évident car les filtres risquent de se déclencher.

(d'ailleurs au passage, Stable Diffusion 3 a été annoncé vendredi)

Le 23/02/2024 à 13h 55

C'est pour ça que je préfère faire tourner du Stable Diffusion chez moi plutôt que de devoir subir des positions dans lesquelles je ne me reconnais pas et qui provoquent des résultats contre productifs. Je tiens à garder une certaine maîtrise de l'usage de l'outil pour correspondre à mes attentes.

Une feature intéressante de la GUI que j'utilise, InvokeAI, est le Dynamic Prompt justement. Plutôt que de demander 150 critères au modèle, on lui passe une liste de choix possibles pour les éléments qui nous intéressent (exemple : a photo of {dogs|cats}), puis le front itère sur les combinaisons données. Voire aussi l'utilisation des fonctions swap ou blend qu'il propose sur les prompts, mais malheureusement je n'ai pas assez de ressources pour les exploiter. En attendant je combine les résultats qui m'intéressent via l'inpainting. L'autre possibilité ensuite pour améliorer les capacités du modèle (qui reste contraint par ses limites issues de l'apprentissage) est d'utiliser des LoRA, ou encore des ControlNet.

wikipedia

Le 23/02/2024 à 17h 14

Dans les cas des autrices que tu cites il faudrait que l'information ait une utilité en effet. Ce dont je doute, à l'inverse des personnalités comme Page ou Manning qui, comme tu le dis, ont été célèbres bien avant leur transition.
Sur ça je suis complètement d'accord.

Mais sortir le prétexte de la transphobie pour répondre à la lubbie radicale d'une minorité, dont certains en plus ne sont même pas concernés mais se la jouent SJW (j'en connais, je bosse avec certains comme ça. Et oui je mesure l'usage du terme swj qui leur colle parfaitement), c'est trop.
Ce n'est pas de la sorte que l'on va combattre la transphobie, j'en suis convaincu.

Ca me fait à chaque fois penser à ceux et celles qui scandent "facho" au moindre désaccord... et on en revient donc à mon commentaire précédent.

> Ca me fait à chaque fois penser à ceux et celles qui scandent "facho" au moindre désaccord... et on en revient donc à mon commentaire précédent.

C'est le débat des étiquettes. Plutôt que de discuter sur un sujet, on préfère coller des étiquettes aux personnes puis les attaquer sur ces assignations arbitraires.

Cette répugnante pratique est, pour moi, l'exemple parfait des intervenants qui ne viennent que pour polémiquer et non échanger. En soit, ce n'est rien de plus que de l'attaque personnelle, mais couplée à une erreur fondamentale d'attribution.

Logo de Proton Drive

Le 22/02/2024 à 17h 53

J'attends que ça, ils travaillaient déjà dessus quand je me suis abonné il y a plusieurs années....

C'est pour ça qu'à titre perso les données les plus sensibles sont chiffrées par mes propres biais (le reste étant une acceptation du risque). Contraignant, mais de dehors de ce manque, je suis pleinement satisfait du service.

Le 22/02/2024 à 07h 37

Je me demandais si leur compatriote Infomaniak allait réviser lui aussi ses tarifs pour l'offre gratuite, mais en fait j'ai remarqué qu'ils avaient déjà été revus à la hausse lors de la dernière refonte de l'offre. Par contre celui-ci n'a pas le même niveau de confidentialité que Proton, le EEE n'étant pas encore supporté.

Un écran invitant à interroger ChatGPT

Le 22/02/2024 à 17h 50

Je n'ai pas compris ça comme ça. J'ai l'impression que c'est au contraire un problème plus ou moins matériel (ils parlent de config GPU). De ce que j'ai lu, il "prédit" les mauvais tokens. Ça pourrait venir du coup d'un problème de cast ou d'imprécision entre 2 type de données (il y a le Float32, le TF32, le Float16, le BFloat16 et même le float8).

En effet c'est aussi possible, je sais que ma GTX1080 n'est pas forcément recommandée pour Stable Diffusion (même si ça marche bien) car il lui manque quelques instructions utiles pour certains calculs. Mais c'est pas impossible que ce soit aussi causé par des paramétrages software du LLM.

Le 22/02/2024 à 13h 31

> Le mot hallucination est d'ailleurs désagréable à mes oreilles : il renforce l'idée que c'est "intelligent" et qu'il est trompé par un événement/une intervention extérieure, alors que c'est juste une réponse "statistiquement valide" (selon le modèle)

Ce n'est pas un événement ou une intervention, le modèle n'est pas "trompé" quand il hallucine. C'est d'ailleurs même la définition d'hallucination : percevoir quelque chose qui n'existe pas en l'absence de stimuli externe. Dans le cas du LLM, il tombe simplement dans un embranchement statistique produisant un résultat incohérent par manque de données d'entraînement.

On utilise souvent le terme d'une façon péjorative, mais en réalité c'est bel et bien une feature de l'IA générative. ce n'est pas un bug pour reprendre la vieille expression, c'est sa "créativité". C'est notamment la température qui permet de rendre le modèle plus ou moins créatif. Une température à 0 le rendra déterministe avec de très fortes chances de toujours produire le même résultat. Zéro n'est pas recommandé, mais une température basse l'est pour la traduction ou la génération de code par exemple. Par contre, une température moyenne est plus adaptée au cas d'usage d'un chat bot. Trop haute, le modèle peut devenir un peu trop "créatif" par contre et risque de divaguer.

Dans tous les cas, l'hallucination est inévitable pour un LLM. Ce ne sont pas des bases de données ou des indexes, mais des modèles statistiques dont le traitement contient une part d'aléatoire (paramétrable, mais présente). Donc il y aura toujours des résultats incohérents ou incorrects. Il faut juste apprendre à faire avec. C'est notamment pour ça qu'en matière de génération d'image, on fait des batchs de plusieurs résultats pour un prompt, y compris avec la même seed.

Le 22/02/2024 à 12h 54

Au vu de l'explication sur la page status, ça sent le paramétrage du LLM qui semble avoir été modifié et mis des valeurs entraînant un comportement beaucoup plus aléatoire.

Les params d'un LLM permettent de le faire agir d'une façon stricte ou de plus en plus créative. Mal dosé, le comportement peut devenir erratique et complètement aléatoire.

Ca n'a rien à voir avec une question de surveillance ou d'encadrement, à moins qu'on ne veuille légiférer sur les paramètres de température, top_k, top,p, la pénalité de répétition, etc, qu'on donne au modèle pour le requêter... C'est juste une MEP foireuse comme on en a tous les jours sur le Web.

une jeune femme s'apprête à enregistrer une vidéo d'elle-même avec un smartphone placé dans un anneau lumineux.

Le 21/02/2024 à 18h 05

En fait, selon ma propre expérience, les prudhommes sont assez clairement un guet-apens pour les employeurs, même depuis les dispositions Macron.
Il est très difficile d'être parfaitement réglo sur tout vis-à-vis des détails administratifs, ça prend une énergie folle au quotidien, et le doute profite systématiquement à l'employé.
Exemple récent, un employé qui a fait des choses relevant sans aucun doute du pénal dans l'exercice de ses fonctions peut espérer gagner quelque chose sur un vice de forme.
J'ai un autre exemple en tête avec cette histoire d'employé de la sncf qui a frappé un membre de la direction et qui a dû être réintégré (convention collective particulière, mais tout de même...).

Et comme le dit bien tipaul, même quand tu cherches à améliorer la vie de tes employés, ça se retourne facilement contre toi dans ce contexte.

Nous sommes exposés à pas mal de juridictions dans l'exercice de notre métier, et selon mon sentiment, les prudhommes sont celle où la justice est la moins équilibrée.
Pour moi, la limitation des sanctions est un juste équilibrage des choses, ça permet de limiter la casse d'une institution que je trouve partiale, et ce n'est pas normal s'agissant d'un exercice régalien.

Entendons-nous bien, je suis conscient que certains employeurs abusent largement de leurs employés.
Je suis également convaincu qu'une institution comme les prudhommes est nécessaire et bienvenue.
Je trouve juste qu'en l'état, c'est un vrai frein au dynamisme économique, même quand l'employeur est de bonne foi (et je suis convaincu qu'il s'agit de la majorité des employeurs, tout comme la majorité des salariés le sont).

Edit : je conçois parfaitement que les gens aient une opinion partagée sur ce sujet, suivant qu'ils sont employeurs, employés, qu'ils aient été en contact avec l'institution ou non, qu'ils travaillent dans une TPE, une PME, une ETI ou un grand groupe. Je livre juste mon sentiment personnel ici, pour enrichir le débat.

En fait, en premier lieu il convient de se retirer de la tête le biais du "méchant patron contre les pauvres employés". Des entreprises de merde, il y en a plein. Des entreprises où ça se passe plus ou moins bien, aussi.

Et surtout, surtout, surtout, ne pas prendre en compte les grandes entreprises comme référence pour éviter l'effet de loupe sur les parachutes dorés et autres éléments "chocs". Même si en volume elles brassent beaucoup, surtout financièrement en fait, elles restent une minorité (INSEE 2021). La majorité des entreprises en France sont des micro entreprises, et, cumulé, les PME emploient presque autant de salariés que les Grandes Entreprises.

Perso j'ai vécu le management de merde des grandes entreprises, dont une du CAC 40, et j'ai pu expérimenter aussi les structures plus petites... La seule comparaison que j'en ferais, c'est surtout qu'en GE, les postes sans valeur ajoutée sont légion. De mon expérience, plus une organisation devient grosse, plus elle devient source de gaspillage et de friction. On fait souvent bien mieux avec peu qu'avec beaucoup, j'ai pu le voir dans les contextes où les restrictions budgétaires imposaient de grosses limitations versus ceux qui claquaient par la fenêtre (époque qu'on pourrait croire révolue, mais non, y'a encore trop de gaspillage).

Le 21/02/2024 à 17h 22

> Oui clairement la tendance depuis quelques temps est plus le NoSQL.

Je ressens plutôt le contraire. Il y a eu une grosse mouvant NoSQL il y a quelques années. Les gens se sont aperçus qu'utiliser une techno parce que c'est la techno du moment est une mauvaise idée sans avoir de réel prérequis.

Surtout que les SGBD d'aujourd'hui supporte très bien le mélange données structurées / non structurées, avec, notamment les supports JSON et/ou XML.

Postgresql est un très bon SGBD, bien meilleur que MySQL/MariaDB, dans le domaine du libre. Il supporte mieux les standards (même si MariaDB s'est amélioré ces dernières années), est véritablement ACID (ce qui n'est pas tout à fait le cas de MySQL/MariaDB), est bien plus performant sur des requêtes complexes, et là où MariaDB/MySQL commence à se vautrer dans des environnements concurrentiels (= beaucoup de requêtes simultanées)

MariaBD/MySQL, c'est bon pour du CRUD (ou les blogs Wordpress ^^)

[edit] J'ai corrigé la partie sur le SGBD qui commence à se vautrer dans des environnements concurrentiels. La phrase initiale laissait à penser que c'était Postgresql qui se vautrait, alors que pas du tout, c'est MariaDB/MySQL.

> Je ressens plutôt le contraire. Il y a eu une grosse mouvant NoSQL il y a quelques années. Les gens se sont aperçus qu'utiliser une techno parce que c'est la techno du moment est une mauvaise idée sans avoir de réel prérequis.

J'ai jamais dit que c'était le meilleur choix :transpi:

Après n'étant pas architecte logiciel, perso je ne sais pas spécialement le challenger. Mais depuis une paire d'années, je ne vois plus que ça sur les projets. A tort ou à raison ou par effet de mode, effectivement toutes les bonnes ou mauvaises raisons sont possibles.

Le 21/02/2024 à 07h 34

Oui voir même plutôt MongoDb / ou sqlite, le SQL ultra-structuré est de moins en moins utile, avec la montée en puissance de javascript et des API pleins de trucs tournent maintenant en nodb ou en base allégée.

Le temps du WAMP / LAMP "on permise" avec un modèle de bdd de folie est assez loin derrière !

Oui clairement la tendance depuis quelques temps est plus le NoSQL.

Les PostgreSQL qu'on fait pop dans mon expérience, c'est plus par prérequis éditeur historique qu'autre chose. Oracle DB j'en parle pas, c'est juste à cause de vendor lock.

Conteneurs

Le 21/02/2024 à 13h 03

> La fin des grandes applications monolithiques et l’arrivée du cloud ont permis l’éclatement du code et le grand avènement des microservices. À la clé, une redondance améliorée et la possibilité de laisser un service accessible pendant des opérations de maintenance. Les conteneurs convenaient parfaitement aux microservices par leur souplesse.

Ah c'est tellement beau dans la théorie.

Dans la réalité, les gros progiciels historiques qui se sont "containerisés" ont simplement fait un gros paquet avec une image pleine de bordel qui prend 8GB de RAM et 4CPU pour tourner. Et pas que, même des devs internes mal architecturés sont comme ça.

Ouep, de la VM dans du conteneur sur de la VM.

:craint:

une icône de l'application reddit affiche 2 notifications en attente

Le 20/02/2024 à 18h 08

Tout dépend de la finalité de l'entraînement.

Si l'idée pour Twitter est, par exemple, d'entraîner un modèle pour évaluer la propagation de fausse information ou de prédire l'aspect viral d'un propos, c'est le meilleur endroit possible.

C'est aussi une bonne source pour apprendre au modèle à lire de nombreux types d'écrits, y compris avec une grammaire pauvre ou erronée, ainsi que les niveaux de langue, niveaux d'expression, etc. Une des fonctionnalités d'un LLM est, par exemple, de pouvoir évaluer le sentiment d'un texte : agressif, triste, ironique, etc. Pour ça, les repères à shitstorm du Web ça me semble être une bonne source.

Une Wyze Cam v3 Pro posée sur un morceau de bois

Le 20/02/2024 à 17h 59

Pas très wise comme achat.

Après perso, je me dis, quitte à être maté par une caméra avec des risques de voir sa vie privée exposée, autant rentabiliser l'affaire la brancher à un site de webcam adulte en ligne. Au moins ça rapportera des sous.

Des textes partent de trois groupes de personnes pour en faire un quatrième au-dessus d'eux.

Le 19/02/2024 à 17h 50

Je regarderai si je peux faire tourner Mixtral sur mon M2 alors, je vais devoir retourner sur Nvidia sinon (et je pense pas que ma 1080 suffira)

Non ça je confirme, LLaMA sur ma 1080 c'était déjà très difficile. Ces modèles demandent plus de ressources que du Stable Diffusion pour la génération d'image.

Le 19/02/2024 à 14h 22

C'est obligatoire d'avoir du GPU nvidia sur Linux, ou un macos M1-M2-M3 pour le faire tourner correctement en local ? Ou il tourne bien en mode CPU aussi ?

J'ai cru voir passer des articles de personnes ayant fait tourner le modèle sur du M1 Apple avec 16GB de RAM. Mais je pense qu'il s'agissait de Mistral et non de Mixtral.

Mais apparemment les perfs en CPU-only sont dégueulasses.

Le 19/02/2024 à 13h 22

> Je pense que ce doit être Mixtral-8x7B derrière

Réponse reçue du support, c'est bien le modèle utilisé par Infomaniak.

Le 19/02/2024 à 11h 45

J'ai testé le même modèle en local et je confirme le ressenti :
- tendance à rebasculer en anglais sans raison particulière
- bluffé par les performances !

Yep les perfs sont vraiment bonnes. De mon côté c'est surtout de la latence avec Infomaniak qui doit avoir une capacité limitée (ils doivent ajouter du GPU pour permettre de l'entraînement prochainement), mais je n'ai eu que 3 ou 4 gateway timeout sur une quarantaine d'essais.

Après mes premiers tests ont été bourrins, j'ai voulu expérimenter mon use-case sur des prompts à 10k tokens :transpi:

Le 19/02/2024 à 08h 25

> 1.5 Pro est le premier modèle de la génération à être disponible. Il est utilisable avec une fenêtre contextuelle standard de 128 000 jetons (la génération 1.0 en avait une de 32 000).

Au même niveau que GPT-4 Turbo chez OpenAI/Microsoft en gros.

Pendant ce temps là, j'ai testé ce week-end (vu que j'y ai eu l'accès) le Mixtral proposé par Infomaniak et c'est pas dégueux. Je pense que ce doit être Mixtral-8x7B derrière - qui semble d'ailleurs avoir le même type d'architecture que Gemini - j'ai demandé au support s'ils pouvaient me le confirmer (avec au passage les limites d'usage, c'était pas spécialement indiqué). Les temps de réponse sont encore assez longs, mais après une bonne série d'étapes de tests j'ai pu avoir un system prompt qui retournait ce que j'attendais, le tout emballé dans un front web bricolé maison (avec estimation du coût de la requête). L'offre propose 1 millions de tokens en démarrage avant de facturer, valables jusque fin mars me concernant. Avec tous mes essais du wenk-end (dont des prompts à 12k), je suis à 850k restants, autant dire que j'ai encore de la marge. En limitations j'ai parfois noté qu'il avait tendance à rebasculer en anglais malgré un prompt (voire system prompt) en français.

Mais plus j'ai avancé, plus j'ai de moins en moins envie de renew l'abo ChatGPT Plus. J'ai fait quelques comparaisons entre GPT-4 et Mixtral proposé via kChat, notamment pour l'assistance à la génération de code, et c'était relativement proche. L'API permet de générer pas mal de params pour tuner le comportement du modèle. J'ai pas fait le calcul de combien la limite de 20€/mois de dépense que j'ai fixé (minimum syndical autorisé) me reviendrait, mais je pense que ça sera rentable.

Les acteurs européens ont besoin de plus de visibilité !