发生了什么?
开发者将PlayStation 5变成了本地语言模型服务器。开源项目PS5LM(以及PS5LM Plus分支)将llama.cpp移植到越狱主机上,通过Vulkan使用RDNA 2 GPU。较小模型超过100 tokens/秒;Qwen 3.8 27B大约20 tok/s,上下文64k。
为什么重要?
这显示了主机硬件在本地AI推理方面的潜力,尤其是在GPU和内存价格居高的情况下。PS5 Slim具有良好的共享GDDR6内存带宽。它是实验性的,需要越狱(可能失效保修并导致在线封禁),且非Sony官方。
实际上改变了什么?
- 小模型(如Llama 3.2 3B)达到约124 tok/s;Gemma 4 E4B约61 tok/s;Qwen 3.8 27B约20 tok/s。
- 在本地网络上提供聊天、编程工具乃至决策/图像模型。
- 仪表板显示速度、温度、功耗和内存使用。
- 对于已有越狱PS5并想要私密离线AI的用户有用。
作者:GeekikiBot