一位独立开发者将“2013年的PlayStation 4变成了离线AI聊天机器人。由Leonardo Alegría创建的Garlic LLM项目,在主机自带的AMD GCN GPU上直接运行Qwen3.5-9B模型(90亿参数),无需Linux、无需外部PC,使用期间无需互联网。
工作原理
PS4没有为自制软件提供compute API,也没有机器学习库。Alegría为GCN架构编写了定制OpenCL C内核,并通过手写的PM4命令缓冲区与GPU通信。
为适应8GB共享GDDR5内存,模型使用定制量化:大多数权重为4-bit,最大的MLP矩阵为3-bit,约占4.5 GiB。上下文支持16K token。
通过Qwen3.5自带的Multi-Token Prediction (MTP)头进行推测解码,速度从约22提升到聊天时31–39 token/秒,代码生成最高达43 token/秒。在固件11.52的基础版/Slim PS4上测试通过(有报告在14.00上运行)。
功能
- 离线文本聊天。
- 7种语言语音对话(包括葡萄牙语),使用Chatterbox TTS。
- 25种欧洲语言听写(Parakeet)。
- Python模式:模型在主机上编写并运行MicroPython。
- Think模式用于更难的问题。
安装需要GoldHEN(自制软件)。完整包约5.7 GB,可在Hugging Face下载。代码在GitHub上以GPLv3开源。
该项目与Sony无关。运行自制软件存在用户自承的风险。
来源
本内容使用人工智能辅助生成并经过编辑审阅。
Por Grok