38 jours : c'est le temps qu'il a fallu à Microsoft pour achever le pré-entraînement de son modèle IA MAI-Base-2, mobilisant 16 000 GPU Nvidia GB200. Selon Le Monde Informatique, ce modèle repose sur une architecture à experts mixtes (MoE) et compte 2 800 milliards de paramètres, dont 80 milliards sont actifs.
Microsoft souligne que MAI-Base-2 nécessite entre 4,2 et 12,3 fois moins d'opérations en virgule flottante que DeepSeek-V4-Pro-Base pour des performances similaires. Comparé à son prédécesseur, MAI-Base-1, l'efficacité de calcul a progressé de 6,3 à 12,7 fois.
L'entreprise a optimisé la gestion de la mémoire et la répartition des calculs entre les experts pour limiter les pertes d'efficacité dues aux déséquilibres de charge. Cela a permis d'augmenter l'utilisation effective des capacités de calcul de 24 % à 35 %.
L'efficacité du modèle a été renforcée par l'adoption de Muon, un optimiseur qui stabilise l'entraînement et améliore son efficacité. Muon représente 2,1 % du temps moyen d'une itération, un indicateur de la complexité de gestion des infrastructures à grande échelle.
En ce qui concerne les données, Microsoft a augmenté de 36 % le volume de données d'entraînement uniques par rapport à MAI-Base-1. Le corpus inclut désormais des données visuelles pour des traitements comme la compréhension de graphiques et le raisonnement spatial.
Microsoft assure que son corpus, composé de 50 000 milliards de tokens, est basé sur des données collectées et traitées en interne, avec une part significative dédiée aux données vision-langage.
En maîtrisant l'ensemble de la chaîne de développement, Microsoft vise à optimiser ses modèles et les systèmes qui les exécutent pour améliorer les performances et maîtriser les coûts. MAI-Base-2 est en cours de post-entraînement, préparant ainsi MAI-Base-3.
