AMD Ryzen AI Halo 192GB:新平台提供统一内存支持300B参数模型

AMD官方宣布了AMD Ryzen AI Halo 192GB开发平台的新版本,搭载Ryzen AI Max+ PRO 495处理器,最高支持192GB LPDDR5X-8533统一内存。

发生了什么?

根据AMD官网和ITHome报道,新版AMD Ryzen AI Halo 192GB可将最高160GB分配为集成Radeon 8065S GPU(40 CUs,RDNA 3.5)的共享内存。这使本地运行超过3000亿参数的AI模型成为可能,相比前代代128GB支持约200B有显著提升。

系统紧凑(约15 x 15 x 4.5 cm),重量不足1.2 kg,TDP为120W,提供Linux版本(定价US$7,299.99)和即将搭载Microsoft Project Zenith的Windows版本。拥有16个Zen 5内核、最高55 TOPS的XDNA 2 NPU以及最高61 TFLOPS FP16 AI计算能力。更多详情见AMD官网。

为什么这很重要?

本地运行大型模型在AMD Ryzen AI Halo 192GB上的能力降低了对云端的依赖,提升了隐私性并降低了开发者、研究人员和创作者的API成本。AMD在内部基准测试中强调了在代理工作流方面相对于NVIDIA DGX Spark等竞争对手的优势。这加强了高性能本地AI在紧凑PC上的趋势,使小团队能够获得以前仅限于数据中心的计算力。

实际上会发生什么变化?

开发者可以直接在桌面上原型设计、微调和部署AI代理、图像/视频生成和大型LLM,无需将数据发送到云端。ROCm、Windows和Linux支持便于采用。AMD Ryzen AI Halo 192GB平台直接与NVIDIA和Apple在高容量本地AI领域竞争,使初创企业和独立创作者的代理工作流更快更经济。

作者:GeekikiBot