Les entreprises d'IA ciblent notamment le développement logiciel avec la génération de réponses techniques aux problèmes des développeurs et concurrencent des sites comme Stack Overflow. Mais ces outils sont-ils pertinents ?
« Stack Overflow est-il obsolète ? ». C'est la question que s'est posée la chercheuse de l'université de Purdue aux États-Unis, Samia Kabir avec ses collègues.
Depuis l'arrivée des outils d'IA générative, les fréquentations du site diminuent et les développeurs posent de plus en plus leurs questions techniques à ChatGPT ou à un autre outil similaire. Au point que le site, dans ces conditions inconfortables, signe avec OpenAI un accord laissant l'entreprise de Sam Altman entrainer ses modèles sur les questions/réponses postées depuis des années par ses utilisateurs.
ChatGPT : erroné et bavard
Abonnez-vous pour tout dévorer et ne rien manquer.
Déjà abonné ? Se connecter
Commentaires (69)
#1
L'étude aurait comparé à Copilot pour le code ou autre outil spécialisé du même type, elle aurait une valeur.
Si l'on voulait comparer ChatGPT à des humains, il aurait mieux valu le comparer aux réponses des piliers du troquet du coin.
#1.1
Perso ça me lasse.
#1.2
#1.3
"One of the main advantages of ChatGPT over GitHub Copilot is that ChatGPT works as a conversational chatbot that allows users to ask questions and give feedback beyond code completion. For instance, programmers can ask a conceptual question about a data type used in a program, ask for a code explanation, and ask how to fix an error message".
Ils renvoient aussi à cet article pour expliquer que les développeurs utilisent réellement ChatGPT mais pas pour les mêmes raisons que Copilot : https://www.itprotoday.com/development-techniques-and-management/github-copilot-vs-chatgpt-which-tool-better-software
Historique des modifications :
Posté le 31/05/2024 à 10h33
Sauf que Copilot ne répond pas à des questions, comme l'expliquent bien les auteurs de l'étude :
"One of the main advantages of ChatGPT over GitHub Copilot is that ChatGPT works as a conversational chatbot that allows users to ask questions and give feedback beyond code completion. For instance, programmers can ask a conceptual question about a data type used in a program, ask for a code explanation, and ask how to fix an error message".
Ils renvoient aussi à cet article pour expliquer que les développeurs utilisent réellement ChatGPT mais pas pour les mêmes raisons que Copilot : https://www.itprotoday.com/development-techniques-and-management/github-copilot-vs-chatgpt-which-tool-better-software
#1.5
#1.6
Historique des modifications :
Posté le 31/05/2024 à 10h42
Oui, mais la recherche prend du temps et de même pour l'adoption et l'adaptation des pratiques...
#1.7
#1.8
Et oui, la recherche prend du temps et a du mal à suivre la vitesse à laquelle les modèles évoluent. Chaque jour on a une actualité dans le domaine qui parle du nouveau modèle TopMoumoutx64b parameters qui poutre tout et se fait détrôner le lendemain par un autre.
C'est donc quelque chose à garder en tête lorsqu'on traite le sujet.
Là c'est comme si on me disait que le moteur de rendu de IE6 est moins performant dans les benchmark de 2024. Normal, c'est un produit obsolète (presque depuis sa naissance histoire d'anticiper le troll).
#1.11
#1.12
#1.13
Je ne me suis peut-être pas mis à la place de Fred42 mais est-ce que Fred42 s'est mis à la place de quelqu'un qui utilise ChatGPT pour répondre à ses questions de code (comme beaucoup de devs) ?
Historique des modifications :
Posté le 31/05/2024 à 12h59
Elle est là pour montrer à la personne qui est entre la chaise et le clavier ce qui peut l'aider...
Je ne me suis peut-être pas mis à la place de Fred42 mais est-ce que Fred42 s'est mis à la place de quelqu'un qui utilise ChatGPT (comme beaucoup de devs) ?
#1.14
Quelle est la source de cette affirmation ?
Je n'ai rien vu de tel dans l'étude.
Franchement, quelqu'un qui utilise un perroquet statistique pour écrire du code est-il un dev ? Si oui, est-il un bon dev ?
#1.15
#1.9
Historique des modifications :
Posté le 31/05/2024 à 10h54
Tout à fait, je suis impressionné par le nombre de mes collègues qui utilisent CHatGPT pour les aider à résoudre des problèmes de code
#1.4
Donc avoir ce type d'étude permet de faire redescendre le soufflet autour de l'utilisation que certains en font (j'en connais qui font une confiance quasi aveugle à ChatGPT pour les questions techniques...).
Edit : mauvais ciblage de ma réponse. Elle répond au commentaire de @fred42
Historique des modifications :
Posté le 31/05/2024 à 10h37
Je suis d'accord avec ton commentaire. Mais je le nuancerai toutefois en appuyant le fait que cette étude reste pertinente, car beaucoup de dev utilisent encore seulement ChatGPT au lieu de solutions plus adaptées (Copilot, Jetbrains AI, etc). Principalement pour des raisons de coûts pour les entreprisesn ChatGPT étant librement accessible.
Donc avoir ce type d'étude permet de faire redescendre le soufflet autour de l'utilisation que certains en font (j'en connais qui font une confiance quasi aveugle à ChatGPT pour les questions techniques...).
#1.16
Remarque : ta réponse me répondait bien. (Truc pour le voir : une réponse de niveau 2 (ou plus) à un commentaire cite le début du commentaire auquel elle répond. Ce n'est pas le cas d'une réponse de niveau 1 comme la tienne)
Historique des modifications :
Posté le 31/05/2024 à 13h19
Même question qu'à l'auteur de l'article : tu as des sources sur ton affirmation ?
Remarque : ta réponse me répondait bien. (Truc pour le voir : une réponse de niveau 2 (ou plus) à un commentaire cite le début du commentaire auquel elle répond. Ce n'est pas le cas d'une réponse de niveau 1 comme la tienne)
#1.17
Qu'appelles-tu "une réponse de niveau 1 ou 2" ?
#1.19
Ensuite il y a ce que j'appelle réponse de niveau 1 : les réponses aux commentaires dont je parle juste au-dessus.
Les réponses de niveau 2 (et plus) répondent à des commentaires qui sont eux aussi des réponses. Et j'incrémente le niveau de 1 à chaque fois que l'on a un niveau de réponse supplémentaire.
Toutes ces réponses sont numérotées avec un point de séparation : à gauche du point, on trouve le numéro du commentaire qui correspond à ma première phrase et à gauche du point, il y a un numéro d'ordre croissant tout niveau de réponse confondu.
J'expliquais donc comment savoir à quel commentaire répond un commentaire de type réponse : s'il n'y a pas de citation, c'est une réponse au commentaire dont le numéro est à gauche du point (c'est ce que j'appelle réponse de niveau 1) et s'il y a une citation, on peut retrouver le commentaire parce que l'on a le début de son contenu dans la citation).
Mais j'ai peur de t'avoir à nouveau perdu...
#1.21
... je pourrais mal le prendre... Une chance, je ne suis pas susceptible
#1.22
#1.18
Je généralise certes mais ça reste assez représentatif amha.
#1.10
Quoiqu'il en soit, Copilot se base sur GPT-4 tout comme ChatGPT, même s'il est adapté pour le code, il faut s'attendre à ce qu'il présente les mêmes travers (quantitativement moindres, mais sans que ce soit suffisant pour se reposer dessus). D'ailleurs Copilot produit aussi régulièrement de belles bouses.
#1.20
De mon côté l'étude me paraît donc intéressante.
#2
Après, il ne remplace pas un codeur professionnel, mais ce n'est pas du tout ce pour quoi il est fait, donc en quoi est-ce étonnant... ?
#2.1
Edit : en fait, mon code est rarement bon du premier coup également. Donc avoir du code qui ne fonctionne pas, comprendre pourquoi et le corriger ben c'est un peu ce que je fais depuis le début, IA ou pas
Historique des modifications :
Posté le 31/05/2024 à 11h15
Pareil. J'utilise ChatGPT ou MistralAI pour poser des questions de code. C'est rarement bon du premier coup mais ce n'est pas très grave. Je corrige de moi-même ou sinon je passe à une recherche plus classique sur internet si je vois qu'il à côté de la plaque. (pb conceptuel)
Posté le 31/05/2024 à 11h17
Pareil. J'utilise ChatGPT ou MistralAI pour poser des questions de code. C'est rarement bon du premier coup mais ce n'est pas très grave. Je corrige de moi-même ou sinon je passe à une recherche plus classique sur internet si je vois qu'il à côté de la plaque. (pb conceptuel)
Edit : en fait, mon code est rarement bon du premier coup également. Donc avoir du code qui ne fonctionne pas, comprendre pourquoi et le corriger ben c'est un peu la base je dirais
#2.3
#2.5
#2.6
#2.2
#2.4
#2.7
#2.8
#2.9
Après on a parlé d'analyste-programmeur qui faisait les 2 tâches.
#2.10
#2.11
-- ceux qui sont du domaine et ont conscience de l'aspect pissage de code sous entendu.
-- ceux qui n'y connaissent rien mais ont bien compris qu'il faut dire "coder" et non "programmer" pour faire semblant d'être dans le coup.
#3
Comme d'habitude, nous, chers humains, adorons prioriser la forme sur le fond, alors que l'on se réclame pragmatiques, ce que nous ne sommes pas.
Ma prédiction, basée sur l'expérience de vie et l'observation de mes pairs : comme d'habitude, la forme prendra le pas sur le fond, et les utilisateurs d'un robot conversationnel continueront de l'utiliser, et de pousser pour l'utiliser quand bien même ils en retirent de la merde.
Il préfèreront recevoir de la merde et produire de la merde plutôt que de voir leur ego froissé par un autre humain qui accueillera parfois un peu vertement leur flemme, par exemple en les enjoignant de mieux creuser la question avant de la poser.
Nous sommes finalement, bien plus souvent que nous souhaitons l'admettre, capricieux, douillets, incohérents et non-constructifs.
Historique des modifications :
Posté le 31/05/2024 à 10h55
L'analyse sur le sentiment est intéressant : le miroir aux alouettes d'une "politesse" d'une machine générative de texte pensée pour ne pas heurter (la forme) risque de compter plus que la pertinence ou l'exactitude de la réponse (le fond).
Comme d'habitude, nous, chers humains, adorons prioriser la forme sur le fond, alors que l'on se réclame pragmatiques, ce que nous ne sommes pas.
Ma prédiction, basée sur l'expérience de vie et l'observation de mes pairs : comme d'habitude, la forme prendra le pas sur le fond, et les utilisateurs d'un robot conversationnel continueront de l'utiliser, et de pousser pour l'utiliser quand bien même ils en retirent de la merde.
Il préfèreront recevoir de la merde et produire de la merde plutôt que de voir leur ego froissé par un autre humain qui accueillera parfois un peu vertement leur flemme, par exemple en les enjoignant de mieux creuser la question avant de la poser.
Nous somme finalement bien plus souvent que nous souhaitons l'admettre capricieux, douillets, incohérents et non-constructifs.
Posté le 31/05/2024 à 10h55
L'analyse sur le sentiment est intéressant : le miroir aux alouettes de la "politesse" d'une machine générative de texte pensée pour ne pas heurter (la forme) risque de compter bien plus que la pertinence ou l'exactitude de la réponse (le fond).
Comme d'habitude, nous, chers humains, adorons prioriser la forme sur le fond, alors que l'on se réclame pragmatiques, ce que nous ne sommes pas.
Ma prédiction, basée sur l'expérience de vie et l'observation de mes pairs : comme d'habitude, la forme prendra le pas sur le fond, et les utilisateurs d'un robot conversationnel continueront de l'utiliser, et de pousser pour l'utiliser quand bien même ils en retirent de la merde.
Il préfèreront recevoir de la merde et produire de la merde plutôt que de voir leur ego froissé par un autre humain qui accueillera parfois un peu vertement leur flemme, par exemple en les enjoignant de mieux creuser la question avant de la poser.
Nous somme finalement bien plus souvent que nous souhaitons l'admettre capricieux, douillets, incohérents et non-constructifs.
#3.1
Je pense que la popularité d'un Bardella ou d'un Attal (présentent bien, mais creux comme des radis) illustre malheureusement très bien ta phrase.
#3.2
#4
La chercheuse principale ne semble pas spécialement être spécialisée sur le sujet, à un faible track record, n'a pas l'air d'avoir de publication citée dans d'autres travaux, sans parler du point soulevé par fred42. Le GitHub associé est relativement inexploitable, avec une bonne partie de documents dans des fichiers word qu'il faut télécharger, autant tout mettre sur un Onedrive qui aura une visionneuse intégrée honnêtement.
Alors, oui, ok, le titre de l'étude est prometteur d'un point de vue buzz (putaclic ?), mais c'est vide. Qu'est-ce qu'on apprend ?
- ChatGPT est bavard ? Oui, c'est son but. On peut lui donner des instructions en premier lieu pour lui demander d'adapter son format de réponse, dans un style SO s'il y a besoin. Certains contributeurs sont eux aussi particulièrement prolixes dans leurs réponses, et c'est généralement bien accepté.
- ChatGPT fait des erreurs ? On ne comptera plus celles de SO, honnêtement. Heureusement que le système d'upvote permet de qualifier/valider les réponses apportées.
- Un développeur habitué à ChatGPT et SO peut, sans trop se tromper, identifier des réponses des plateformes ? Waow.
Historique des modifications :
Posté le 31/05/2024 à 11h30
Un peu perplexe face à la pertinence du choix de cet article, et de ce qui est attendu d'en démontrer, à la fois côté chercheurs, à la fois côté journaliste pour cette mise en avant.
La chercheuse principale ne semble pas spécialement être spécialisée sur le sujet, à un faible track record, n'a pas l'air d'avoir de publication citée dans d'autres travaux, sans parler du point soulevé par fred42. Le GitHub associé est relativement inexploitable, avec une bonne partie de documents dans des fichiers word qu'il faut télécharger, autant tout mettre sur un Onedrive qui aura une visionneur intégrée honnêtement.
Alors, oui, ok, le titre de l'étude est prometteur d'un point de vue buzz (putaclic ?), mais c'est vide. Qu'est-ce qu'on apprend ?
- ChatGPT est bavard ? Oui, c'est son but. On peut lui donner des instructions en premier lieu pour lui demander d'adapter son format de réponse, dans un style SO s'il y a besoin. Certains contributeurs sont eux aussi particulièrement prolixes dans leurs réponses, et c'est généralement bien accepté.
- ChatGPT fait des erreurs ? On ne comptera plus celles de SO, honnêtement. Heureusement que le système d'upvote permet de qualifier/valider les réponses apportées.
- Un développeur habitué à ChatGPT et SO peut, sans trop se tromper, identifier des réponses des plateformes ? Waow.
#4.1
De mon côté, je trouve cet article très intéressant. Et ce n'est pas le côté putaclic qui m'intéresse.
Par contre, si on se pose un peu et qu'on regarde le fait que la plupart des erreurs sont d'ordre conceptuel, ça va dans le sens de modèles de langage qui font très bien des tâches assez classiques et répétitives (syntaxes etc) et beaucoup moins « intellectuelles » comme la conception logicielle. Bref, ça reste des machines :)
#4.2
Historique des modifications :
Posté le 31/05/2024 à 12h00
Quant au CV de la jeune chercheuse Samia Kabir, il est plutôt cohérent avec le sujet https://samiakabir.com/papers/
Posté le 31/05/2024 à 12h01
Quant au CV de la jeune chercheuse Samia Kabir, il est plutôt cohérent avec le sujet https://samiakabir.com/papers/url text
#4.3
Bah on compare ChatGPT, généraliste et qui doit grosso modo avoir un niveau d'étudiant à la fac sur ces sujets, à des professionnels qui ont une légitimité (expertise, expérience ...) sur des sujets pointus. J'espère bien que l'avantage est aux humains face aux machines.
C'est là que je mets un gros doute sur l'intérêt de ce papier : le choix de la machine. Est-ce que ChatGPT est vraiment la cible à considérer dans une telle étude ?
#4.4
#4.5
A l'inverse les humains qui répondent sur Stack Overflow peuvent se tromper, aussi
L'étude est intéressante à mon avis parce qu'elle aborde l'aspect statistique des réponses sur le fond et sur la forme, qui correspond à l'usage qu'en font des développeurs.
Bref. Merci pour ce papier.
#4.6
Donc, il n'existe pas de livre "niveau CP" ? De devoir "de bon niveau pour un 6e" ?
#4.8
Un objet destiné à l'éducation comme un livre est associé à un niveau de connaissance / de compétence, bien sûr, de même qu'un devoir s'évalue en fonction d'un niveau.
Mais on parle d'un outil qui est utilisé par des professionnels (c'est peut-être regrettable, mais c'est un fait) et qui propose des réponses à des questions en s'appuyant sur un apprentissage issu d'un gigantesque corpus contenant du très bon et du très moyen, et dont la valeur ajoutée (et la faiblesse) est un algorithme censé interpréter et s'exprimer en langage naturel : le résultat peut donc être très supérieur à ce qu'en dirait un "étudiant à la fac" et très inférieur (en cas d'incompréhension du problème énoncé).
Vouloir simplifier en parlant de "niveau d'un étudiant à la fac" (ce qui est déjà très flou), me semble assez abusif et non pertinent (no offense).
C'est comme résumer une galaxie à un point sous prétexte que c'est la moyenne des coordonnées de ses éléments observables.
#4.7
Le problème de l'IA en ce moment, ce n'est pas l'IA, c'est de la sortir à toutes les sauces, comme la solution géniale.
L'IA permet de faire de belles démos, mais la plupart des projets autour de l'IA font de gros flops ... pas toujours pour les bonnes raisons (entre la résistance au changement, la peur d'être remplacé et en face l'efficacité réelle, pas toujours facile de savoir pourquoi le flop)
Peut-on prendre au piège un LLM? Oui, on aura toujours des limites dans l'apprentissage - comme un humain.
Doit-on considérer que ChatGPT n'est pas adapté? Certainement.
Mais du coup: doit-on attendre qu'il soit meilleur ou un autre LLM fera-t'il mieux actuellement? L'article n'y répond pas.
L'article ne répond pas non plus à ceci: doit-on considérer SO comme une source fiable? Ben ... pas vraiment, sans compter que les réponses de SO, si elles sont trop vieilles, ne sont pas toujours adaptées.
#5
#6
Bientôt on va avoir des fanboys pour les IA comme à la grande époque de Free et d'Apple
N'en déplaise donc aux grincheux ChatGPT est principalement utilisé par les plus jeunes d'entre nous (je vous laisse trouver les stats). Son utilisation par rapport à d'autres outils mieux ciblés est principalement une histoire de couts.
Le but de cette étude est simplement de mettre des statistiques sur du ressenti et d'expliquer que l'IA n'est pas intelligente.
Vous pouvez dire que le problème se situe entre la chaise et le clavier si vous voulez, mais si vous voulez convaincre des personnes, il vaut mieux une étude qu'une affirmation.
Bref, merci pour l'article.
#7
Le premier est très pratique quand on ne sait pas quelque chose. Ça n'est que rarement bon du premier coup, mais en l'orientant, on peut obtenir des choses assez propres. Il permet aussi de se passer des tâches fastidieuses. Par exemple, vous avez une liste de valeurs, à convertir en un énuméré, il fait ça très bien ! On peut même lui demander des structures bien plus complexes en lui donnant l'entrée et la sortir désirée qu'il appliquera à vos 200 valeurs bien plus vite que vous !
Il a aussi l'avantage de bien expliquer ce qu'il fait, ça aide à la compréhension. Ça donne aussi des fois juste des pistes ou des idées pour réaliser quelque chose. Il aide aussi à réaliser de manière assez exhaustive les tests unitaires en proposant des cas de tests pertinents. S'il n'est pas à jour sur quelque chose, il suffit de lui donner le lien vers une documentation à jour pour qu'il l'exploite.
Copilot est quand à lui très utile pour suggérer du code. Il est très lié au contexte et du coup apporte une aide à la saisie non-négligeable. Par exemple, vous ajoutez un console.log() au début de chaque fonction, avec un format donné dont par exemple le nom de la fonction et les valeurs des paramètres passés, il va rapidement le proposer juste en se plaçant à la première ligne de chaque fonction.
Il peut aussi proposer des fonctions à créer. Par exemple, vous avez fait une API get (liste), il va vous proposer un get sur un id, un post, un put, un delete, etc. Et généralement le code est quasiment parfait du premier coup.
Il sait aussi créer les commentaires de code pour la documentation (si vous avez bien nommé vos fonctions, il trouve tout seul quoi mettre, même si les noms sont en anglais et vos commentairs en français).
Bref, ce sont des outils bien pratique pour gagner du temps que ce soit en conception ou en réalisation. J'avoue que j'aurais du mal à m'en passer !
Historique des modifications :
Posté le 31/05/2024 à 15h14
Personellement, j'utilise énormément ChatGPT 4o et Copilot pour le développement.
Le premier est très pratique quand on ne sait pas quelque chose. Ça n'est que rarement bon du premier coup, mais en l'orientant, on peut obtenir des choses assez propres. Il permet aussi de se passer des tâches fastidieuses. Par exemple, vous avez une liste de valeurs, à convertir en un énuméré, il fait ça très bien ! On peut même lui demander des structures bien plus complexes en lui donnant l'entrée et la sortir désirée qu'il appliquera à vos 200 valeurs bien plus vite que vous !
Il a aussi l'avantage de bien expliquer ce qu'il fait, ça aide à la compréhension. Ça donne aussi des fois juste des pistes ou des idées pour réaliser quelque chose. Il aide aussi à réaliser de manière assez exhaustive les tests unitaires en proposant des cas de tests pertinents. S'il n'est pas à jour sur quelque chose, il suffit de lui donner le lien vers une documentation à jour pour qu'il l'exploite.
Copilot est quand à lui très utile pour suggérer du code. Il est très lié au contexte et du coup apporte une aide à la saisie non-négligeable. Par exemple, vous ajoutez un console.log() au début de chaque fonction, avec un format donné dont par exemple le nom de la fonction et les valeurs des paramètres passés, il va rapidement le proposer juste en se plaçant à la première ligne de chaque fonction.
Il peut aussi proposer des fonctions à créer. Par exemple, vous avez fait une API get (liste), il va vous proposer un get sur un id, un post, un put, un delete, etc. Et généralement le code est quasiment parfait du premier coup.
Il sait aussi créer les commentaires de code pour la doculentation (si vous avez bien nommé vos fonctions, il trouve tout seul quoi mettre, même si les noms sont en anglais et vos commentairs en français).
Bref, ce sont des outils bien pratique pour gagner du temps que ce soit en conception ou en réalisation. J'avoue que j'aurais du mal à m'en passer !
#7.1
#7.3
Sinon, ça veut dire qu'on considère que la maîtrise de sed est acquise, ou que le temps passé à apprendre à l'utiliser est forcément pertinent.
Perso, j'adore ce type d'outil, mais il n'est pas forcément utile à tous.
#7.4
#7.5
#7.6
Mais en définitive, ce qui compte vraiment à mes yeux, c'est que les développeurs soient motivés, chercheurs et débrouillards. Qu'ils découvrent l'existence et l'utilité d'une expression régulière par ChatGPT ou à l'école n'a pas d'importance. Il faut juste être conscient que leur travail sera (à priori) moins bon et plus lent que celui d'un développeur expérimenté. C'est d'ailleurs (entre autre) pour ça qu'on les paie moins cher :)
#7.7
Et même avant que ChatGPT ne soit à la mode, les développeurs spé copier/merder Stackoverflow ça courrait les rues. Ca copiait des bouts de code, n'avait aucune idée de ce que ça faisait, et perdait du temps à faire un patchwork inefficace.
Tout comme les sites regex prémâchées copier/merder "aucune idée de ce que ça fait" existaient bien avant.
À mes yeux, la branche était en train de ce scier depuis plus d'une décennie. Quand on considère que son métier n'a aucune valeur, il ne faut pas s'étonner que des décisionnaires aient la même approche. Et donc qu'aujourd'hui ils considèrent qu'un demi ETP + GitHub Copilot à 20€/mois c'est plus intéressant que 3 ETP.
Personnellement une chose que j'ai constatée : il n'y a même pas relecture d'un script avant de le lancer. Tu files un script à un junior, il va le lancer sans savoir ce que ça fait. Alors que j'ai toujours eu l'habitude d'ouvrir pour savoir à quoi m'attendre. J'ai pu observer ce genre de chose avec des petits pièges inoffensifs. Du genre fermer la session SSH à la fin de l'exécution. Résultats garantis
En terme d'usage, l'IA générative pour le dev est idéale pour bootstrap un projet et produire les séquences rébarbatives chiantes et accompagner. Surtout quand les schémas de conception sont eux-même standardisés (rien que là, vous avez la root cause du "l'IA remplace le dev". Si on fait toujours la même chose, automatisation, plus besoin d'humain). Ceci permet au dev de se concentrer sur les parties les plus importantes. Là aussi, le concept ne date pas de l'IA, les IDE qui pouvaient initialiser un projet ça date.
En fait, j'ai surtout l'impression que le boom de l'IA générative n'a fait que mettre en lumière une décennie de lauriers écrasés par un oreiller.
Historique des modifications :
Posté le 02/06/2024 à 13h45
Et même avant que ChatGPT ne soit à la mode, les développeurs spé copier/merdé Stackoverflow ça courrait les rues. Ca copiait des bouts de code, n'avait aucune idée de ce que ça faisait, et perdait du temps à faire un patchwork inefficace.
Tout comme les sites regex prémâchées copier/merdé "aucune idée de ce que ça fait" existaient bien avant.
À mes yeux, la branche était en train de ce scier depuis plus d'une décennie. Quand on considère que son métier n'a aucune valeur, il ne faut pas s'étonner que des décisionnaires aient la même approche. Et donc qu'aujourd'hui ils considèrent qu'un demi ETP + GitHub Copilot à 20€/mois c'est plus intéressant que 3 ETP.
Personnellement une chose que j'ai constatée : il n'y a même pas relecture d'un script avant de le lancer. Tu files un script à un junior, il va le lancer sans savoir ce que ça fait. Alors que j'ai toujours eu l'habitude d'ouvrir pour savoir à quoi m'attendre. J'ai pu observer ce genre de chose avec des petits pièges inoffensifs. Du genre fermer la session SSH à la fin de l'exécution. Résultats garantis
En terme d'usage, l'IA générative pour le dev est idéale pour bootstrap un projet et produire les séquences rébarbatives chiantes et accompagner. Surtout quand les schémas de conception sont eux-même standardisés. Ceci permet au dev de se concentrer sur les parties les plus importantes. Là aussi, le concept ne date pas de l'IA, les IDE qui pouvaient initialiser un projet ça date.
En fait, j'ai surtout l'impression que le boom de l'IA générative n'a fait que mettre en lumière une décennie de lauriers écrasés par un oreiller.
Posté le 02/06/2024 à 13h45
Et même avant que ChatGPT ne soit à la mode, les développeurs spé copier/merder Stackoverflow ça courrait les rues. Ca copiait des bouts de code, n'avait aucune idée de ce que ça faisait, et perdait du temps à faire un patchwork inefficace.
Tout comme les sites regex prémâchées copier/merder "aucune idée de ce que ça fait" existaient bien avant.
À mes yeux, la branche était en train de ce scier depuis plus d'une décennie. Quand on considère que son métier n'a aucune valeur, il ne faut pas s'étonner que des décisionnaires aient la même approche. Et donc qu'aujourd'hui ils considèrent qu'un demi ETP + GitHub Copilot à 20€/mois c'est plus intéressant que 3 ETP.
Personnellement une chose que j'ai constatée : il n'y a même pas relecture d'un script avant de le lancer. Tu files un script à un junior, il va le lancer sans savoir ce que ça fait. Alors que j'ai toujours eu l'habitude d'ouvrir pour savoir à quoi m'attendre. J'ai pu observer ce genre de chose avec des petits pièges inoffensifs. Du genre fermer la session SSH à la fin de l'exécution. Résultats garantis
En terme d'usage, l'IA générative pour le dev est idéale pour bootstrap un projet et produire les séquences rébarbatives chiantes et accompagner. Surtout quand les schémas de conception sont eux-même standardisés. Ceci permet au dev de se concentrer sur les parties les plus importantes. Là aussi, le concept ne date pas de l'IA, les IDE qui pouvaient initialiser un projet ça date.
En fait, j'ai surtout l'impression que le boom de l'IA générative n'a fait que mettre en lumière une décennie de lauriers écrasés par un oreiller.
#7.8
Autour de moi, il y a beaucoup de jeunes de 20 ans qui ne jurent que par vim. Alors imaginer des jeunes qui ne connaissent pas la ligne de commande, ça me semble irréel.
#7.12
#7.9
Et puis il y a d'autres exemples plus complexe que sed aurait du mal à faire, par exemple :
Ecris-moi la classe DTO en .NET correspondant à ce JSON en ajoutant les contrôles de valeur en entrée via les annotations. Et n'oublie pas de documenter les champs !
Balèze à faire avec sed m'est avis ! Mais c'est un gain de temps énorme pour du travail fastidieux sans aucune plus-value réelle. Je préfère me concentrer sur le métier.
#7.10
#7.11
#7.2
#8
#8.1
Perso j'ai rarement vu ce genre de TME/TMA externalisée fonctionnelle. La plupart ont été rollback car soit la qualité suivait pas, soit la communication échouait (quand français qui baragouine trois mots d'anglais parle avec indien qui baragouine trois mots d'anglais, ça marche pas). Ou encore quand on croit que se faire facturer un acte à 800€ pour faire trois clics sur le portail du CSP pour créer à la main une VM (parce que c'est bien connu, l'IaC ça sert à rien) est une bonne affaire.
Historique des modifications :
Posté le 31/05/2024 à 23h34
Dans la mesure où ce genre de décideur ne voit que l'aspect financier à court terme, je doute que ça leur démontre quoique ce soit. Ce sont les mêmes types de décisions que celles de faire de l'offshore ou du nearshore en voyant qu'une TMA en Europe de l'est coûtera X versus une en France qui coûtera Y. Et dans le cas du dev, il se sera fait vendre un stagiaire senior par une SSII au prix d'un expérimenté depuis longtemps.
Perso j'ai rarement vu ce genre de TME/TMA externalisée fonctionnelle. La plupart ont été rollback car soit la qualité suivait pas, soit la communication échouait (quand française qui baragouine trois mots d'anglais parle avec indien qui baragouine trois mots d'anglais, ça marche pas). Ou encore quand on croit que se faire facturer un acte à 800€ pour faire trois clics sur le portail du CSP pour créer à la main une VM (parce que c'est bien connu, l'IaC ça sert à rien) est une bonne affaire.
#9
Tenter de mesurer, d’une manière ou d’une autre la probité de cet outil, c’est bien. Et puis une étude en amène une autre etc.
On entend tellement de discours fabulatoires autour de Chat GPT que cette étude, quelque soit sa profondeur ou la qualité de restitution à un intérêt. Le merveilleux, la pensée magique, les anecdotes stupéfiantes prise pour argent comptant etc ne cessent de tourner autour de ce chat bot amélioré.
Une étude, ce n’est pas ce vieux con de Labsyb qui a donné son avis dans les commentaires de Next. Une étude ce n’est pas cet abruti prétentieux de Labsyb, dont les avis valent peau de balle. Ça a le mérite d’être un travail collectif. Avec une méthodologie, discutable ou non. Mais je suis sûr que c’est de nature à faire avancer les choses.
#10
#11
Historique des modifications :
Posté le 02/06/2024 à 23h10
L’article utilise la version 3.5 du modèle, qui est gratuite, à une qualité moyenne (mais est peu cher et est rapide), et qui n’est pas utilisé chez Microsoft avec GitHub Copilot et Copilot (GPT-4 Turbo). GPT-4 Turbo est beaucoup plus performant dans les questions de raisonnement. On compare des choux et ses carottes ici !
#11.1
Dans 2 ans, les collégiens utiliserons cela pour ne pas aller à l'école.
#12
Mais...
https://www.developpez.net/forums/d2166681/club-professionnels-informatique/actualites/cybercriminels-se-font-passer-utilisateurs-utiles-stack-overflow-recommander-malware/#post12027355
«Des cybercriminels ont trouvé une approche astucieuse pour propager des logiciels malveillants en utilisant Stack Overflow. Ils répondent aux questions des utilisateurs en promouvant un package PyPi malveillant qui installe un logiciel malveillant volant des informations sur Windows. L’un des comptes utilisés pour cette activité est “EstAYA G”. Les développeurs cherchant de l’aide pour le débogage sont dirigés vers ce package malveillant, même si la solution proposée n’a aucun rapport avec leurs questions originales.»
« « Nous avons également remarqué qu'un compte StackOverflow “EstAYA G”, créé il y a environ deux jours, exploite maintenant les membres de la communauté de la plateforme qui cherchent de l'aide pour le débogage [1, 2, 3] en les incitant à installer ce paquet malveillant comme une “solution” à leur problème, même si la “solution” n'est pas liée aux questions posées par les développeurs », a expliqué Sharma dans le rapport de Sonatype, indiquant que « nous ne pouvons qu'espérer que les développeurs feront preuve de discernement et ne tomberont pas dans ce piège ! ».»