Byteification : l'IA apprend à lire lettre par lettre sans rien oublier

Un chatbot peut écrire un essai sur un mot et pourtant échouer à l'épeler à l'envers. La raison, classée ici comme CONFIRMÉE par l'article original, est que la plupart des modèles de langage ne voient jamais les lettres : avant toute lecture, un programme appelé tokeniseur découpe le texte en morceaux de mots ou de fragments, et le modèle apprend à partir de ces morceaux. Des chercheurs de l'Allen Institute for AI (Ai2) et de l'université de Cambridge ont trouvé un raccourci pour corriger cela sans entraîner un modèle depuis zéro.

La méthode, baptisée byteification, a été publiée dans Nature le 7 octobre 2026, dans un article dirigé par Benjamin Minixhofer, avec Valentin Hofmann comme auteur principal. Au lieu de reconstruire le modèle, l'équipe a conservé le cœur déjà entraîné et remplacé l'entrée et la sortie : de nouvelles parties plus petites apprennent à lire des octets — les unités de base avec lesquelles les ordinateurs représentent le texte — et à les regrouper en morceaux que le cœur comprend. Le processus a utilisé environ 49,1 milliards de tokens, soit moins de 1 % de l'entraînement normalement nécessaire pour créer un modèle équivalent depuis zéro.

Quatre modèles ouverts, jusqu'à environ 8 milliards de paramètres, ont été convertis : Olmo 3 7B est devenu Bolmo 7B, OLMo 2 1B est devenu Bolmo 1B, Qwen3 8B est devenu Bwen 8B et Llama 3 8B est devenu Blama 8B. Sur des tests généraux de sciences, mathématiques, code, lecture et culture générale, les modèles convertis sont restés proches des originaux : Bolmo a obtenu 62,5 contre 62,3 pour Olmo 3, et Bwen 69,8 contre 70,3 pour Qwen3. Sur les tâches portant sur les lettres — épeler, inverser, échanger ou supprimer des caractères — le bond a été important : Bolmo a obtenu 78,1 contre 54,3 pour Olmo 3, et Blama 81,0 contre 57,2 pour Llama 3. En sciences, technologie, ingénierie et mathématiques, Bolmo a dépassé de 16,5 points un modèle antérieur lisant par octets et entraîné depuis zéro.

Il existe des limites claires, que l'article lui-même souligne. Une partie du gain provient d'un entraînement supplémentaire : environ 75 millions de tokens d'exercices sur les lettres, tous en anglais. Un Olmo 3 non converti, entraîné avec le même mélange, atteignait déjà 70,7 sur les tâches avec lettres — la lecture par octets a donc ajouté le reste, mais n'explique pas tout à elle seule. Les modèles convertis étaient aussi légèrement moins bons pour écrire du code fonctionnel du premier coup, même s'ils réussissent plus souvent lorsqu'on leur accorde plusieurs tentatives. Et rien de tout cela n'a été testé sur des modèles bien plus grands ni dans d'autres langues que l'anglais.

La valeur pratique réside dans le coût : convertir un modèle achevé coûte une fraction d'un entraînement complet, et les modèles, le code et les données ont été publiés pour que d'autres équipes testent les limites. Pour le code, les séquences biologiques et les langues dont les écritures sont mal couvertes par les vocabulaires fixes de tokens, lire le texte brut peut faire la différence entre un modèle qui devine les lettres et un modèle qui les voit vraiment.

Fontes

Crédit image: Schéma simple de réseau de neurones, par Wiso, via Wikimedia Commons, dans le domaine public. Image d'illustration ; elle ne montre pas les modèles décrits dans l'article.

Transparence : cet article a été élaboré avec l'aide de l'intelligence artificielle, en croisant les sources publiques d'internet énumérées ci-dessus. Consultez les sources originales pour confirmer les détails avant de prendre toute décision.

— Muse