1.5 Pro est le premier modèle de la génération à être disponible. Il est utilisable avec une fenêtre contextuelle standard de 128 000 jetons (la génération 1.0 en avait une de 32 000).

Au même niveau que GPT-4 Turbo chez OpenAI/Microsoft en gros.

Pendant ce temps là, j'ai testé ce week-end (vu que j'y ai eu l'accès) le Mixtral proposé par Infomaniak et c'est pas dégueux. Je pense que ce doit être Mixtral-8x7B derrière - qui semble d'ailleurs avoir le même type d'architecture que Gemini - j'ai demandé au support s'ils pouvaient me le confirmer (avec au passage les limites d'usage, c'était pas spécialement indiqué). Les temps de réponse sont encore assez longs, mais après une bonne série d'étapes de tests j'ai pu avoir un system prompt qui retournait ce que j'attendais, le tout emballé dans un front web bricolé maison (avec estimation du coût de la requête). L'offre propose 1 millions de tokens en démarrage avant de facturer, valables jusque fin mars me concernant. Avec tous mes essais du wenk-end (dont des prompts à 12k), je suis à 850k restants, autant dire que j'ai encore de la marge. En limitations j'ai parfois noté qu'il avait tendance à rebasculer en anglais malgré un prompt (voire system prompt) en français.

Mais plus j'ai avancé, plus j'ai de moins en moins envie de renew l'abo ChatGPT Plus. J'ai fait quelques comparaisons entre GPT-4 et Mixtral proposé via kChat, notamment pour l'assistance à la génération de code, et c'était relativement proche. L'API permet de générer pas mal de params pour tuner le comportement du modèle. J'ai pas fait le calcul de combien la limite de 20€/mois de dépense que j'ai fixé (minimum syndical autorisé) me reviendrait, mais je pense que ça sera rentable.

Les acteurs européens ont besoin de plus de visibilité !

Yep les perfs sont vraiment bonnes. De mon côté c'est surtout de la latence avec Infomaniak qui doit avoir une capacité limitée (ils doivent ajouter du GPU pour permettre de l'entraînement prochainement), mais je n'ai eu que 3 ou 4 gateway timeout sur une quarantaine d'essais.

Après mes premiers tests ont été bourrins, j'ai voulu expérimenter mon use-case sur des prompts à 10k tokens

Non ça je confirme, LLaMA sur ma 1080 c'était déjà très difficile. Ces modèles demandent plus de ressources que du Stable Diffusion pour la génération d'image.