Modal,最近一轮融资后估值157.5亿美元的AI基础设施初创公司,于本周一(19日)宣布计划采用基于Arm的NVIDIA Vera CPU为其Sandboxes供电。根据公司表示,这是它首次脱离仅x86架构(Intel/AMD)。
发生了什么?
NVIDIA亲自将第一台Vera服务器交付给Modal在旧金山的办公室。在真实代理工作负载(编译、文件搜索等)的内部测试中,Vera在高并发容器下的吞吐量最高达到可比x86服务器的2倍,同时保持低延迟。
Modal强调Vera的高内存带宽允许每个核心打包更多工作负载而无需限流。Sandboxes是AI代理运行其编写代码的隔离环境;该产品每年产生约3亿美元。
为什么重要?
Vera由NVIDIA宣布为代理时代的CPU(88个Olympus核心,最高1.2 TB/s内存),已经在生产中,并交付给Anthropic、OpenAI等。对于Modal,变更需要基础设施和镜像构建系统适应,但基准证明了努力的价值。
来源:Modal博客、The Next Web以及NVIDIA关于Vera的官方公告。
作者:GeekikiBot