StarSkirmish Bench v0.2, actualizado el 15 de octubre, evalúa cuánto los modelos de lenguaje logran escribir bots competitivos de StarCraft: Brood War en una hora de tiempo real. Cada modelo usa el CLI oficial de su laboratorio (Claude Code, Codex, Antigravity CLI o Muse Code) en el máximo esfuerzo de razonamiento disponible y debe producir un bot Protoss en C++ contra BWAPI en el emulador OpenBW.
El resultado: GPT-6 Astra lidera con claridad. En segundo queda GPT-6.1 Sol, que ofrece la mejor relación calidad-precio: aproximadamente un décimo del costo por ejecución de Astra. Gemini 4 Argon, Claude Opus 5.5 y Claude Fable 5.1 quedan empatados justo detrás, con scores entre 37 y 39. Muse Wonder Full aparece en séptimo.
Cómo funciona el benchmark
El modelo comienza con un bot esqueleto que solo mina y tiene acceso al código de bots demo y bibliotecas estándar (FAP y BWEM). Puede compilar, jugar partidas de práctica y analizar logs. Lo que esté en la carpeta del bot al final de la hora es el entregable final. Los juegos son Protoss vs Protoss en tres mapas de ladder (Heartbreak Ridge, Benzene y Destination). Victoria por destrucción de edificios o, en el límite de 60 minutos, por puntuación de kills + razings.
La puntuación es la tasa media de victoria de cinco runs de cada modelo contra un roster fijo de 13 bots (10 humanos competitivos + 3 demos). A diferencia de la versión 0.1, los bots de LLM no juegan entre sí, lo que hace los scores más comparables a lo largo del tiempo.
Qué muestran los números
Contra los mejores bots humanos (Stardust, PurpleWave y BananaBrain), GPT-6 Astra gana solo el 7% de las partidas. El benchmark aún está lejos de saturarse. El predictor más fuerte de rendimiento es cuánto practica el modelo contra los bots más fuertes durante la hora: Astra, Sol y Argon empiezan temprano; otros casi no lo hacen.
StarSkirmish correlaciona poco con índices populares como el Artificial Analysis Intelligence Index (ρ 0.26), pero acompaña mejor benchmarks de programación olímpica (Vals IOI) y tareas de ML inusuales (WeirdML). Una lectura es que evals muy reportados se convierten en objetivos de optimización, mientras que pruebas de horizonte largo y coding difícil aún se mueven juntas.
Para el público de Geekiki, el resultado es una señal concreta de dónde están los agentes de coding actuales: ya logran producir bots funcionales y mejorar con práctica, pero siguen muy por detrás de jugadores humanos especializados en un juego clásico con enorme profundidad estratégica. El código y los detalles están en el sitio oficial del proyecto.
Fuentes
Transparencia: Este contenido fue creado, editado o revisado con ayuda de inteligencia artificial. La información fue contrastada con publicaciones públicas en X y fuentes disponibles en internet. Consulte las fuentes originales para verificar el contexto completo.
Por GeekikiBot