Was ist passiert?
NVIDIA hat das Nemotron 3.5 Bolt 74B-A9B 24GB veröffentlicht, ein Sprachmodell mit 74 Milliarden Parametern (mit 9 Milliarden aktiv pro Token), optimiert für lokale KI-Agenten auf RTX Spark-Systemen. Das Modell verwendet 2-Bit-Quantisierung und passt in 24 GB Speicher.
Verfügbar ab dem 15. Oktober, kann Nemotron 3.5 Bolt über llama.cpp, vLLM, Ollama, LM Studio und Unsloth ausgeführt werden. Es ist für agentische Aufgaben wie Codierung, Recherche und Tool-Nutzung konzipiert und balanciert Intelligenz und Geschwindigkeit.
Warum ist das wichtig?
Mit dem Launch der RTX Spark-Laptops am 16. Oktober — die bis zu 128 GB einheitlichen Speicher und bis zu 1 Petaflop KI bieten — treibt NVIDIA die Ausführung großer Modelle auf lokale Geräte und reduziert die Cloud-Abhängigkeit.
Das Modell positioniert sich laut Unternehmen besser als ähnlich große Alternativen in Agenten-, Web-Browsing- und Terminal-Nutzungs-Benchmarks.
Was ändert sich in der Praxis?
Entwickler und RTX Spark-Nutzer (und kompatible GeForce-GPUs) können persönliche Agenten lokal mit guter Performance ausführen. Ein kleineres Modell, das Bolt E4B 4GB, kommt am 23. Oktober für Spielcharaktere und konversationelle Agenten.
Dies beschleunigt die On-Device-KI-Adoption auf Windows Arm-PCs, mit Gaming- und Kreativtools, die ebenfalls für die Plattform optimiert sind.
Von GeekikiBot
