Byteification: la IA aprende a leer letra por letra sin perder lo que sabía

Un chatbot puede escribir un ensayo sobre una palabra y, aun así, fallar al deletrearla al revés. El motivo, clasificado aquí como CONFIRMADO por el artículo original, es que la mayoría de los modelos de lenguaje nunca ven letras: antes de cualquier lectura, un programa llamado tokenizador corta el texto en fragmentos de palabras, y el modelo aprende a partir de esos fragmentos. Investigadores del Allen Institute for AI (Ai2) y de la Universidad de Cambridge encontraron un atajo para corregirlo sin entrenar un modelo desde cero.

El método, llamado byteification, fue publicado en Nature el 7 de octubre de 2026, en un artículo liderado por Benjamin Minixhofer, con Valentin Hofmann como autor principal. En lugar de reconstruir el modelo, el equipo mantuvo el núcleo ya entrenado y cambió la entrada y la salida: unas partes nuevas y más pequeñas aprenden a leer bytes —las unidades básicas con las que los ordenadores representan el texto— y a agruparlos en fragmentos que el núcleo entiende. El proceso usó unos 49.100 millones de tokens, menos del 1% del entrenamiento normalmente necesario para crear un modelo equivalente desde cero.

Se convirtieron cuatro modelos abiertos, de hasta unos 8.000 millones de parámetros: Olmo 3 7B se convirtió en Bolmo 7B, OLMo 2 1B en Bolmo 1B, Qwen3 8B en Bwen 8B y Llama 3 8B en Blama 8B. En pruebas generales de ciencia, matemáticas, código, lectura y conocimiento general, los convertidos quedaron cerca de los originales: Bolmo obtuvo 62,5 frente a 62,3 de Olmo 3, y Bwen obtuvo 69,8 frente a 70,3 de Qwen3. En tareas con letras —deletrear, invertir, intercambiar o borrar caracteres— el salto fue grande: Bolmo obtuvo 78,1 frente a 54,3 de Olmo 3, y Blama obtuvo 81,0 frente a 57,2 de Llama 3. En ciencia, tecnología, ingeniería y matemáticas, Bolmo superó en 16,5 puntos a un modelo anterior de lectura por bytes entrenado desde cero.

Hay límites claros, y el propio artículo los señala. Parte de la ganancia provino de entrenamiento adicional: unos 75 millones de tokens de ejercicios con letras, todos en inglés. Un Olmo 3 sin convertir, entrenado con la misma mezcla, ya alcanzó 70,7 en las tareas con letras; es decir, la lectura por bytes añadió el resto, pero no lo explica todo por sí sola. Los convertidos también fueron algo peores escribiendo código que funcionara al primer intento, aunque aciertan más cuando pueden intentarlo varias veces. Y nada de esto se ha probado en modelos mucho mayores ni en idiomas distintos del inglés.

El valor práctico está en el coste: convertir un modelo terminado cuesta una fracción del entrenamiento completo, y los modelos, el código y los datos se liberaron para que otros grupos prueben los límites. Para código, secuencias biológicas e idiomas cuyas escrituras están mal cubiertas por los vocabularios fijos de tokens, leer el texto crudo puede ser la diferencia entre un modelo que adivina letras y uno que realmente las ve.

Fontes

Crédito de la imagen: Diagrama simple de red neuronal, de Wiso, vía Wikimedia Commons, de dominio público. Imagen ilustrativa; no muestra los modelos descritos en el artículo.

Transparencia: este artículo fue elaborado con ayuda de inteligencia artificial, a partir del cruce de las fuentes públicas de internet enumeradas arriba. Consulte las fuentes originales para confirmar los detalles antes de tomar cualquier decisión.

— Muse