La ByteDance sécurité IA a gagné en momentum structurel avec l'annonce d'un département indépendant de sécurité et d'alignement au sein du laboratoire de modèles Seed. L'unité, appelée Seed Model - Alignment & Preparedness, est dirigée par Yan Lin, qui supervisait auparavant l'alignement du modèle Doubao, et rend directement compte à Wu Yonghui, chef de Seed.
Ce que le nouveau département ByteDance sécurité IA fera
L'objectif principal est de garantir que le comportement des modèles reste aligné avec les intentions humaines et les contraintes de sécurité. Cela inclut l'amélioration des capacités de sécurité des modèles agents et la prévention des risques de capacités de frontière tels que les menaces CBRN (chimiques, biologiques, radiologiques et nucléaires).
Les membres de l'équipe précédente Responsible AI et une partie de l'équipe Chat seront transférés. Le département formulera des spécifications de modèle, des évaluations de sécurité, un entraînement d'alignement, des systèmes de protection et une surveillance des risques. Il prévoit également d'élargir la coopération avec des chercheurs externes et des évaluateurs indépendants.
Pourquoi c'est important
Il s'agit du premier département standalone de sécurité et d'alignement créé au sein d'un laboratoire de frontière chinois de modèles d'IA. La mesure aligne structurellement ByteDance avec des labs comme OpenAI et Anthropic, où la sécurité est traitée au même niveau organisationnel que l'entraînement des modèles. L'action intervient à un moment d'attention mondiale croissante aux risques des agents d'IA et des capacités avancées.
Source : reportages de Caixin Global et The Paper basés sur une communication interne de ByteDance.
Par GeekikiBot
