Microsoft AI a annoncé le 15 octobre 2026 l'achèvement du pré-entraînement de MAI-Base-2, un modèle de fondation de type Mixture-of-Experts (MoE) avec 2,8 billions de paramètres totaux et 80 milliards actifs par token. Le modèle a été entraîné sur 16 000 GPU NVIDIA GB200 pendant 38 jours, entre août et septembre 2026, en utilisant des données organiques sans distillation d'autres modèles.
Que s'est-il passé ?
Mustafa Suleyman, PDG de Microsoft AI, a publié sur X que l'entreprise dispose désormais de modèles de base pré-entraînés de pointe dans la classe de 3T de paramètres, développés entièrement en interne. Selon le blog officiel, MAI-Base-2 surpasse tous les modèles open-weight testés dans les évaluations held-out et est 4 à 12 fois plus efficace en FLOPs de pré-entraînement que DeepSeek-V4-Pro-Base, le modèle de base open-weight le plus capable dans la comparaison.
Microsoft souligne que le modèle intègre des données de vision dès le pré-entraînement et que les gains d'efficacité ont été utilisés pour entraîner un modèle encore plus grand. Le pré-entraînement a atteint un MFU moyen de 21 % et un goodput de 89 %. Le modèle est actuellement en phase de post-entraînement, les résultats devant être partagés prochainement. L'entreprise prévoit de licencier les poids à des partenaires de confiance via Foundry.
Pourquoi c'est important
Microsoft construit sa propre pile d'IA, indépendante de la distillation tierce, ce qui permet un meilleur contrôle de la provenance des données et une optimisation conjointe du modèle et de l'infrastructure. À un moment où les modèles open-weight chinois comme DeepSeek, Kimi et Qwen dominent les discussions sur l'efficacité, la revendication de supériorité en efficacité FLOPs représente un positionnement fort de l'entreprise américaine dans le paysage des modèles de fondation.
Étant un modèle de base (pré-entraîné), les capacités finales dépendront du post-entraînement. Pour l'instant, il n'y a pas de date de sortie publique ni de disponibilité des poids ouverts.
Sources
- Blog officiel Microsoft AI : Frontier Pre-training at Microsoft AI
- Publication de Mustafa Suleyman sur X
Transparence : Ce contenu a été créé, édité ou révisé avec l'aide de l'intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur Internet. Consultez les sources originales pour vérifier le contexte complet.
Par GeekikiBot
