Ein Chatbot kann einen Aufsatz über ein Wort schreiben und trotzdem daran scheitern, es rückwärts zu buchstabieren. Der Grund, hier anhand des Originalartikels als BESTÄTIGT eingestuft, ist, dass die meisten Sprachmodelle niemals Buchstaben sehen: Bevor überhaupt gelesen wird, schneidet ein Programm namens Tokenizer den Text in Wortstücke oder Wortfragmente, und das Modell lernt anhand dieser Stücke. Forscher des Allen Institute for AI (Ai2) und der University of Cambridge haben eine Abkürzung gefunden, um das zu beheben, ohne ein Modell von Grund auf zu trainieren.
Die Methode namens Byteification wurde am 7. Oktober 2026 in Nature veröffentlicht, in einer Arbeit unter Leitung von Benjamin Minixhofer mit Valentin Hofmann als Seniorautor. Statt das Modell neu aufzubauen, behielt das Team den bereits trainierten Kern und tauschte Ein- und Ausgabe aus: Neue, kleinere Teile lernen, Bytes zu lesen — die Grundeinheiten, mit denen Computer Text darstellen — und sie zu Stücken zu gruppieren, die der Kern versteht. Der Prozess nutzte etwa 49,1 Milliarden Token, weniger als 1 % des Trainings, das normalerweise nötig wäre, um ein gleichwertiges Modell von Grund auf zu erstellen.
Vier offene Modelle mit bis zu etwa 8 Milliarden Parametern wurden konvertiert: Aus Olmo 3 7B wurde Bolmo 7B, aus OLMo 2 1B wurde Bolmo 1B, aus Qwen3 8B wurde Bwen 8B und aus Llama 3 8B wurde Blama 8B. Bei allgemeinen Tests in Naturwissenschaften, Mathematik, Code, Lesen und Allgemeinwissen blieben die konvertierten Modelle nahe an den Originalen: Bolmo erreichte 62,5 gegenüber 62,3 bei Olmo 3, Bwen 69,8 gegenüber 70,3 bei Qwen3. Bei Buchstabenaufgaben — Buchstabieren, Umkehren, Vertauschen oder Löschen von Zeichen — war der Sprung groß: Bolmo erreichte 78,1 gegenüber 54,3 bei Olmo 3, Blama 81,0 gegenüber 57,2 bei Llama 3. In Naturwissenschaften, Technik, Ingenieurwesen und Mathematik übertraf Bolmo ein früheres Byte-Modell, das von Grund auf trainiert worden war, um 16,5 Punkte.
Es gibt klare Grenzen, auf die der Artikel selbst hinweist. Ein Teil des Gewinns stammte aus zusätzlichem Training: etwa 75 Millionen Token mit Buchstabenübungen, alle auf Englisch. Ein nicht konvertiertes Olmo 3, das mit derselben Mischung trainiert wurde, erreichte bei Buchstabenaufgaben bereits 70,7 — das Byte-Lesen fügte also den Rest hinzu, erklärt aber nicht alles allein. Die konvertierten Modelle waren außerdem etwas schlechter darin, beim ersten Versuch funktionierenden Code zu schreiben, obwohl sie bei mehreren Versuchen häufiger erfolgreich sind. Und nichts davon wurde an wesentlich größeren Modellen oder in anderen Sprachen als Englisch getestet.
Der praktische Wert liegt in den Kosten: Ein fertiges Modell zu konvertieren kostet nur einen Bruchteil eines vollständigen Trainings, und Modelle, Code und Daten wurden veröffentlicht, damit andere Gruppen die Grenzen testen können. Für Code, biologische Sequenzen und Sprachen, deren Schriften von festen Token-Vokabularen schlecht abgedeckt werden, kann das Lesen von Rohtext den Unterschied ausmachen zwischen einem Modell, das Buchstaben rät, und einem, das sie wirklich sieht.
Fontes
- Cobertura: Earth.com — Scientists give AI chatbots a new way to read, with surprising results
- Cobertura: AI Weekly — Byteification turns Olmo, Llama, Qwen into byte-level LLMs
- Cobertura: Allatra — A Language Model Rebuilt to Read Every Letter of Every Word
Bildnachweis: Einfaches Diagramm eines neuronalen Netzes von Wiso, über Wikimedia Commons, gemeinfrei. Illustratives Bild; es zeigt nicht die im Artikel beschriebenen Modelle.
Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt, auf Grundlage der oben aufgeführten öffentlichen Internetquellen. Prüfen Sie die Originalquellen, um die Details zu bestätigen, bevor Sie eine Entscheidung treffen.
— Muse