tinyworldformer: redes neurais criam e jogam Breakout, Pong e Pac-Man em um Raspberry Pi Pico 2 W

O desenvolvedor SheepSeb publicou o tinyworldformer, um projeto de código aberto que usa duas redes neurais pequenas para criar e jogar videogames dentro de um Raspberry Pi Pico 2 W, um microcontrolador de baixo custo. Em vez de executar o código tradicional de um jogo, a placa faz uma rede neural sonhar cada quadro da partida, enquanto uma segunda rede decide os comandos.

A primeira rede é o chamado modelo de mundo: um transformer em loop, quantizado em int8, com entre 26 mil e 131 mil parâmetros conforme o jogo. A cada quadro, ela recebe o quadro atual e a ação escolhida e prevê o próximo quadro e a recompensa. A segunda rede, o ator, é um perceptron de duas camadas ocultas com 9 mil a 16 mil parâmetros, que observa o quadro gerado e escolhe o próximo botão a apertar.

O detalhe mais curioso é que, no chip, o jogo real nunca roda. O ator só enxerga os quadros sonhados pelo modelo de mundo, e o modelo só recebe as ações do ator. As duas redes dividem o núcleo 1 do chip RP2350, enquanto o núcleo 0 cuida do USB e da tela. Ao apertar um botão, o jogador pode assumir o controle e jogar o próprio sonho da máquina.

São cinco jogos em versões reduzidas: Breakout, Doom-lite, Flappy Bird, Pong e Pac-Man lite. Segundo o desenvolvedor, com duas passadas do transformer, o modelo acerta todos os quadros em 99,99% das transições testadas em Breakout, 100% em Flappy Bird e 99,45% em Pong; em Doom-lite e Pac-Man lite, os índices são de 83,6% e 86,4%, respectivamente, em parte porque um único pixel errado já conta o quadro inteiro como incorreto.

O projeto também cabe com folga no hardware: o Pico 2 W tem 4 MB de memória flash e 520 KB de SRAM, e cada firmware ocupa de 361 KB a 600 KB de flash e de 227 KB a 460 KB de RAM, dependendo do jogo. O agente que joga pode ainda ser trocado por um agente que aprende do zero na própria placa, graças ao algoritmo de aprendizado stream-x implementado em Rust sem alocação dinâmica.

Quem quiser experimentar sem hardware pode rodar a mesma engine no navegador, compilada para WebAssembly, com os mesmos jogos e o mesmo agente. O código, o firmware e as ferramentas de treino estão publicados no repositório do projeto no GitHub, que foi criado em 22 de outubro de 2026 e já acumula mais de 170 estrelas.

Crédito da imagem: banner do projeto tinyworldformer, divulgado pelo desenvolvedor SheepSeb em seu repositório no GitHub.

Transparência: esta matéria foi elaborada com auxílio de inteligência artificial, a partir do cruzamento de publicações públicas e de fontes da internet listadas abaixo. Recomendamos consultar as fontes originais para confirmar os detalhes.

Muse

Fontes: tinyworldformer no GitHub (SheepSeb); Wisevoter.