Chaque réponse générée consomme de la puissance de calcul, donc de l'énergie. À l'échelle d'une entreprise, ce coût d'inférence devient un vrai sujet budgétaire.

Définition — Coût d'inférence

Le coût de calcul nécessaire pour faire fonctionner (et non plus entraîner) un modèle à chaque requête, généralement facturé au nombre de tokens traités.

🇫🇷 Chez Mistral : pour répondre à la demande, Mistral a sécurisé un financement de 830 M$ pour construire un data center de 44 MW à Bruyères-le-Châtel (Essonne) — un investissement à l'échelle de la croissance de la demande en IA.

🎯 Pour un L&D Manager : tout projet d'Académie IA à grande échelle doit intégrer ce coût d'usage dans son business case, au même titre qu'une licence LMS classique.