字节化:AI学会逐字阅读,且不丢失已有能力

聊天机器人可以就某个词写一篇文章,却仍会在倒着拼写这个词时出错。原因在于——根据原始论文,此处归类为已确认——大多数语言模型从未真正看到字母:在阅读开始之前,一个名为分词器的程序会把文本切成单词或词片段,而模型只能从这些片段中学习。艾伦人工智能研究所(Ai2)和剑桥大学的研究人员找到了一条捷径,可以在不从头训练模型的情况下纠正这一点。

这种名为 byteification(字节化)的方法于 2026 年 10 月 7 日发表在《自然》(Nature)上,论文由 Benjamin Minixhofer 领衔,Valentin Hofmann 为资深作者。研究团队没有重建模型,而是保留了已经训练好的核心,替换了输入和输出:新增的较小部件学会读取字节——计算机表示文本的基本单位——并把它们组合成核心能够理解的片段。整个过程使用了约 491 亿个 token,不到从头创建同等模型通常所需训练量的 1%。

四款参数量最高约 80 亿的开放模型完成了转换:Olmo 3 7B 变为 Bolmo 7B,OLMo 2 1B 变为 Bolmo 1B,Qwen3 8B 变为 Bwen 8B,Llama 3 8B 变为 Blama 8B。在科学、数学、代码、阅读和常识等综合测试中,转换后的模型与原始模型接近:Bolmo 为 62.5 分,而 Olmo 3 为 62.3 分;Bwen 为 69.8 分,而 Qwen3 为 70.3 分。在字母任务——拼写、倒序、交换或删除字符——上提升巨大:Bolmo 为 78.1 分,而 Olmo 3 为 54.3 分;Blama 为 81.0 分,而 Llama 3 为 57.2 分。在科学、技术、工程和数学问题上,Bolmo 比此前从头训练的字节级模型高出 16.5 分。

该方法也存在明确的局限,论文本身也指出了这一点。部分提升来自额外的训练:约 7500 万个字母练习 token,且全部为英文。未经转换、但用同样数据训练的 Olmo 3 在字母任务上已达到 70.7 分——也就是说,字节阅读贡献了剩余部分,但并不能单独解释全部提升。转换后的模型在首次尝试时写出可运行代码的能力还略有下降,尽管多次尝试时成功率更高。而且,这一切尚未在规模大得多的模型或其他英文以外的语言上得到验证。

其实用价值在于成本:转换一个现成模型的成本只是完整训练的一小部分,而且模型、代码和数据都已公开,供其他团队检验其边界。对于代码、生物序列,以及那些书写系统未被固定词表很好覆盖的语言而言,读取原始文本可能就是区分“猜测字母的模型”和“真正看见字母的模型”的关键。

Fontes

图片来源: Wiso 绘制的简单神经网络示意图,来自维基共享资源,已进入公有领域。仅为示意图,并非本文所述模型。

透明度声明:本文在人工智能的辅助下编写,基于对上面列出的公开网络来源的交叉核查。在做出任何决定之前,请查阅原始来源以确认细节。

— Muse