Y'a deux éléments à prendre en compte sur l'usage de l'IA : l'entraînement et l'utilisation.

L'entraînement, ça se fait une fois, et c'est fini, au sens où le modèle une fois produit est fonctionnel et n'a plus besoin d'être entraîné. Il peut être augmenté par d'autres moyens, mais c'est tout. Il n'apprendra plus, en gros.
L'entraînement, ça coûte très cher en calcul, donc en énergie.

L'utilisation : ta question est pertinente et on a des propositions chez certains acteurs, comme Apple qui fait tourner son Apple Intelligence en local (et on voit que c'est pas top). Le souci, c'est que ça n'est valable que pour des petits modèles de 2 ou 3 milliards de paramètres qui traiteront le prompt et produiront la réponse rapidement.
Si les appareils peuvent faire tourner des modèles plus gros (perso je fais tourner Mistral Small 3.1, 21 milliards de params, sur un PC équipé d'un Ryzen 7 et 32GB de RAM, pas de GPU), le temps d'exécution devient insupportable. Sur la même machine, pour te donner un exemple, Llama 3.2 avec 8 milliards de param met environ une ou deux minutes à traiter un prompt. Mistral Small met dix minutes.
Un modèle de 3 milliards de params travaille plus vite (quasi temps réel entre l'input et l'output), mais il sera rapidement limité.

Pour pouvoir avoir la même latence que les modèles hébergés dans le Cloud qui ont le cul assis sur douze mille GPU, il faut une config adaptée (type gamer haut de gamme si on reste dans de l'équipement grand public), et donc là aussi de la conso d'énergie et du refroidissement (évidemment moins intense qu'un data center).

Même si les puces dédiées à l'accélération des traitements par réseau de neurones artificiels se développent, on est encore loin de pouvoir faire tourner un modèle décent en local avec une latence supportable.

Pour des cas simples et rapide, un petit modèle tournera sur du hardware de smartphone haut de gamme. Je pense que ça reste plus efficient qu'un gros hébergé en data center qui est chargé en mémoire sur une armée de GPU, surtout à cause du nombre élevé de sollicitations en raison de la centralisation.

Là où un modèle appelé une fois tous les 36 du mois sur le device de l'utilisateur ne consommera rien s'il ne tourne pas.

Pour les gros modèles, ça ne tournera pas sur un terminal mobile (qui reste, je pense, la cible numéro 1) et sur un PC il faut une grosse config. Donc réservé à un public limité. Même si c'est potentiellement plus efficient (j'avoue j'en sais rien), ça n'est clairement pas un cas d'usage standard.