Sam Altman avoue que l’IA dépense trop d’énergie

L'entraînement demande beaucoup plus de puissance que l'usage (même si là aussi c'est pas neutre). Et la nature même de GPT fait qu'il a besoin d'être régulièrement entraîné pour être remis à jour (le P). Après la balance pourrait s'inverser si l'usage de l'IA devient trop intensif je suppose.

D'ordre général, de mon expérience et de ma vision, un modèle doit être le plus possible entraîné sur de la donnée morte, immuable, que sur de la donnée vivante qui le rendrait obsolète dès sa finition. Ensuite, il devrait plutôt collecter la donnée vivante et la traiter lors d'un prompt.

Exemple d'un cas d'usage : un chatbot IT. L'entraîner sur les procédures de dépannage n'a aucun sens car elles peuvent évoluer dans le temps. Il vaut donc mieux qu'il les lise. Par contre, l'entraîner sur la base de connaissances de l'historique des incidents aurait plus de sens car cela lui donnerait matière à comprendre la nature du problème. Mais cet entraînement devrait être régulièrement refait pour intégrer des nouvelles données.

Après, plutôt qu'un méga modèle monolithique de la mort qui prend énormément de temps et de ressources pour être entraîné, je pense que l'approche des micro modèles spécialisés (ex : admettons que GitHub Copilot soit en fait une série de modèles pour chaque famille de langages, aujourd'hui c'est un GPT4) orchestrés par un principal pourrait être une approche plus intéressante. Le modèle orchestre n'a besoin que d'une chose : comprendre le prompt. A partir de là, il l'adresse ensuite au spécialisé qui est capable de répondre plus finement et d'aller chercher l'info qui viendrait à lui manquer de manière pertinente. Je n'ai aucune idée de si cela serait plus optimisé ou non, même si je me dis qu'un petit modèle spécialisé coûtera certainement moins cher à produire et utiliser. Un peu comme les Checkpoints et les LoRA côté Stable Diffusion qui se basent tous sur le Base Model de SD.