OpenAI explique que son intelligence artificielle va désormais au-delà du simple prompt pour lui poser des questions : vous pouvez « avoir une conversation vocale ou montrer à ChatGPT de quoi vous parlez ».
OpenAI déroule une histoire : « Lorsque vous êtes à la maison, prenez des photos de votre réfrigérateur et de votre garde-manger pour savoir ce qu’il y a pour le dîner […] Après le dîner, aidez votre enfant à résoudre un problème de mathématiques en prenant une photo, en faisant le tour de l’ensemble des problèmes et en lui demandant de partager des conseils avec vous deux ».
L’entreprise déploiera les fonctionnalités de voix et d’images dans ChatGPT pour les clients Plus et Enterprise au cours des deux prochaines semaines. « La voix arrive sur iOS et Android (opt-in dans les paramètres) et les images seront disponibles sur toutes les plateformes », ajoute OpenAI.
Tous les détails se trouvent par ici.
Commentaires (16)
L’analyse d’image est la bienvenue, c’est une fonctionnalité de l’IA qui est très intéressante de mon point de vue. Par contre connaissant le faible intérêt pour la protection de la vie privée d’OpenAI et leur aspect cavalier sur ces sujets, j’éviterai l’audio au même titre que tous les autres assistants de ce genre.
Au même titre que j’éviterai de lui envoyer une photo avec des personnes dessus.
Je suis curieux de voir s’il sera capable de générer un prompt pour StableDiffusion cela dit.
Mais bon, dans tous les cas c’est sur ChatGPT Plus, donc ça attendra. En ce moment je ne vois plus l’intérêt de payer le service en dehors de tester ce genre de feature.
Pour les prompts, je t’invite à regarder la vidéo de présentation de Dall-E 3 ( en bas de la page de présentation https://openai.com/dall-e-3 )
Oui mais là on reste dans l’interne des modèles OpenAI (qui coûtent cher à utiliser). Je parlais bien de demander à GPT de générer du prompt pour StableDiffusion, qui n’est pas une techno d’OpenAI.
C’est quelque chose qui existe plus ou moins avec AutoGPT mais c’est assez lourd à faire tourner soit-même. Perso je n’ai pas le matériel pour, là où StableDiffusion tourne très bien.
Bon, dans tous les cas, c’est une feature réservée à ChatGPT Plus et si à un moment je voyais la valeur ajoutée du service payant, aujourd’hui non. GPT4 est trop bridé et censuré, les features intéressantes comme le Web mode ont été supprimées, et GPT3.5 n’est plus aussi lent qu’avant (le site ayant aussi baissé en fréquentation ça aide, l’effet de mode semble passer). J’ai pas envie de devoir simplement me baser sur le contenu de l’apprentissage du modèle comme OpenAI prétend qu’il faut faire. C’est juste stupide et à des années lumière de ce qu’est capable de faire GPT.
Le scénario mis en avant dans la brève me fait plus penser à une histoire d’horreur psychologique qu’à un doux rêve.
Utiliser l’IA pour tout est n’importe quoi pour leur donner toujours plus d’élément sur notre vie privée, non merci, on dirait du Facebook puissance 10.
Quand leur modèle économique ne décollera pas, ou que les actionnaires voudront toujours plus d’argent, on aura droit à quoi comme exploitation de nos données ?
Bah c’est plutôt pas mal comme fonction. C’est bien sûr en attendant d’avoir des données en temps réel sur le contenu de ton frigo.
Moi je pense à autre chose : prendre une photo du programme télé et demander à ChatGPT quoi regarder. Pareil, c’est en attendant les futurs évolutions, intégration, bref en attendant que tout ça se fasse tout seul pour toi, et que ta seule utilitée, tout qui est au revenu universel, soit de valider la commande que ChatGPT (ou autre) veut passer pour ton bien. (Oui, si ChatGPT gagne des sous ça ‘UI permet de fonctionner et donc de pouvoir choisir ce que tu vas manger, regarder… Tout ça pour ton bien.)
OpenAI déroule une histoire : « Lorsque vous êtes à la maison, prenez des photos de votre réfrigérateur et de votre garde-manger pour savoir ce qu’il y a pour le dîner […] Après le dîner,
aidez votre enfant à résoudre un problème de mathématiques en prenant une photo, en faisant le tour de l’ensemble des problèmes et en lui demandant de partager des conseils avec vous deux »envoyez votre marmot faire ses exercices et vu que ce dernier à trop la flemme, il demandera à ChatGPT de les résoudre à sa place.Et vu les performances de ChatGPT en math et en géographie, je ne suis pas près de lui confier l’éducation de mes enfants!
Exemple de réponse que j’ai réellement reçue de ChatGPT:
Bref, il ne faut pas vouloir faire faire aux LLM des tâches pour lesquels ils ne sont pas du tout conçus…
La réponse de GPT-4 :
Les Petits Pingouins, aussi appelés “pingouins torda”, sont des oiseaux marins que l’on peut trouver dans l’hémisphère nord, notamment dans l’Atlantique Nord. Voici quelques endroits où vous pouvez les observer :
Lorsque vous planifiez une excursion pour voir les Petits Pingouins, il est bon de vérifier à l’avance la saison à laquelle ils sont présents, car ils peuvent migrer selon les périodes de l’année.
J’ai ça :
Les petits pingouins, également connus sous le nom de manchots pygmées, se trouvent principalement dans l’hémisphère sud, en particulier en Antarctique et dans les régions subantarctiques. Voici quelques endroits où vous pouvez les observer :
Antarctique : C’est l’endroit le plus emblématique pour observer les petits pingouins. De nombreuses expéditions en Antarctique offrent des possibilités d’observation de la faune, y compris les manchots pygmées.
Îles subantarctiques : Des endroits comme les îles Malouines (Falkland Islands), les îles Kerguelen, les îles Crozet et les îles Heard et McDonald abritent également des colonies de petits pingouins.
Australie : En Australie, vous pouvez trouver des petits pingouins principalement en Tasmanie, sur l’île Phillip Island, ainsi que sur la côte sud de l’Australie.
Nouvelle-Zélande : La Nouvelle-Zélande abrite également des colonies de petits pingouins. L’île de Stewart et l’île de Banks Peninsula sont de bons endroits pour les observer.
Afrique du Sud : Vous pouvez voir des manchots pygmées dans la région de Simon’s Town, près du Cap. La plage de Boulders est célèbre pour sa colonie de petits pingouins.
Amérique du Sud : Certaines îles au large de la côte de l’Argentine et du Chili, comme l’île Magdalena, abritent des colonies de petits pingouins.
Îles Galápagos : Les îles Galápagos, situées dans l’océan Pacifique, sont un autre endroit où vous pouvez observer des petits pingouins.
Lorsque vous envisagez d’observer des petits pingouins, assurez-vous de respecter les réglementations locales en matière de conservation de la faune et de ne pas perturber leur habitat naturel. Profitez de cette expérience unique pour admirer ces adorables oiseaux dans leur environnement naturel. Si vous avez des questions supplémentaires ou avez besoin de plus d’informations sur un endroit en particulier, n’hésitez pas à demander !
Mais où sont les commentaires “on est en train de créer Skynet !” ?
Quand ChatGPT sera capable de toucher tu feras moins le mariole :p
J’espère que ce sera avec délicatesse et attention
Euh … perso, je comprends pas l’utilité d’un ChatGPT ici …
Pourquoi lui faire regarder le programme TV et ensuite lui demander quoi regarder ?
Si c’est pour avoir une réponse au hasard, autant fermer les yeux et pointer soi-même sur le programme, ou lancer un dé, ou … je sais pas … regarder avec ses propres yeux et choisir réellement ce qu’on veut voir, plutôt que de subir le choix arbitraire d’une “Intelligence” artificielle …
Ou alors je suis passé à côté du 2e degré …
Au moins 2ème degré.
En ce qui me concerne, YouTube, Facebook et bien d’autres font déjà “ça”.
C’est un vrai sujet car selon moi, l’audio serait une bonne interface pour interagir avec ChatGPT notamment pour les personnes âgées ou en situation de handicape.
Il serait indispensable qu’il y ait de vraies garanties sur la protection et l’utilisation des données personnelles, le mieux étant que les données personnelles ne soient jamais envoyées vers un service tiers.
Chose que l’UE vient de dévoyer en torpillant le Privacy Shield.
Dommage.
Entièrement d’accord sur l’aspect vie privée.
Et oui, l’IA générative et les évolutions dans la reconnaissance audio / transcription sont clairement un énorme bond en matière d’interaction humain-machine.