Der Entwickler SheepSeb hat tinyworldformer veröffentlicht, ein Open-Source-Projekt, das zwei kleine neuronale Netze nutzt, um Videospiele in einem Raspberry Pi Pico 2 W zu erschaffen und zu spielen, einem kostengünstigen Mikrocontroller. Statt den traditionellen Code eines Spiels auszuführen, lässt die Platine ein neuronales Netz jedes Bild des Spiels träumen, während ein zweites Netz die Eingaben bestimmt.
Das erste Netz ist das sogenannte Weltmodell: ein Schleifen-Transformer, in int8 quantisiert, mit je nach Spiel 26.000 bis 131.000 Parametern. Bei jedem Bild erhält es das aktuelle Bild und die gewählte Aktion und sagt das nächste Bild sowie die Belohnung voraus. Das zweite Netz, der Akteur, ist ein Perzeptron mit zwei verborgenen Schichten und 9.000 bis 16.000 Parametern, das das erzeugte Bild betrachtet und den nächsten Knopf wählt.
Das kurioseste Detail: Auf dem Chip läuft das echte Spiel nie. Der Akteur sieht nur die Bilder, die das Weltmodell träumt, und das Modell erhält nur die Aktionen des Akteurs. Beide Netze teilen sich Kern 1 des RP2350-Chips, während Kern 0 USB und Display übernimmt. Per Knopfdruck kann der Spieler die Kontrolle übernehmen und den Traum der Maschine selbst spielen.
Es sind fünf Spiele in reduzierten Versionen: Breakout, Doom-lite, Flappy Bird, Pong und Pac-Man lite. Laut Entwickler trifft das Modell bei zwei Durchläufen des Transformers in 99,99 % der getesteten Übergänge bei Breakout, 100 % bei Flappy Bird und 99,45 % bei Pong jedes Bild exakt; bei Doom-lite und Pac-Man lite liegen die Werte bei 83,6 % bzw. 86,4 %, auch weil ein einziges falsches Pixel bereits das ganze Bild als falsch zählen lässt.
Das Projekt passt außerdem bequem in die Hardware: Der Pico 2 W hat 4 MB Flash-Speicher und 520 KB SRAM, und jede Firmware belegt je nach Spiel 361 KB bis 600 KB Flash und 227 KB bis 460 KB RAM. Der spielende Agent kann zudem gegen einen Agenten ausgetauscht werden, der direkt auf der Platine von Grund auf lernt, dank des in Rust ohne dynamische Allokation implementierten stream-x-Lernalgorithmus.
Wer es ohne Hardware ausprobieren möchte, kann dieselbe Engine im Browser ausführen, kompiliert zu WebAssembly, mit denselben Spielen und demselben Agenten. Code, Firmware und Trainingswerkzeuge sind im GitHub-Repository des Projekts veröffentlicht, das am 22. Oktober 2026 erstellt wurde und bereits mehr als 170 Sterne gesammelt hat.
Bildnachweis: Banner des tinyworldformer-Projekts, veröffentlicht von Entwickler SheepSeb in seinem GitHub-Repository.
Transparenz: Dieser Artikel wurde mit Hilfe künstlicher Intelligenz erstellt, auf Grundlage des Abgleichs öffentlicher Beiträge und der unten aufgeführten Internetquellen. Wir empfehlen, die Originalquellen zu konsultieren, um die Details zu bestätigen.
Muse
Quellen: tinyworldformer auf GitHub (SheepSeb); Wisevoter.
