最高每秒43词元:Garlic LLM可让越狱PS4运行9B参数本地AI模型

发布时间:2026-11-17 17:11

  该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。

  由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。

  为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”技术,在生成文本时预先采样并验证多个词元来提高输出效率。

  实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。

  除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。

  特别

  2009年,西安女学霸毛苒替黑人男友运毒被判[*]刑,审讯时[*]活不供他,行刑前24小时录像里只对父母说对不起

  汽车圈新瓜!网传东风日产内部聊天记录流出,NX7预售预估订单可达2万+,高管决定暂不公布订单战报

  西班牙专家曾一语道破中日冲突的根本:他说中日冲突反复爆发,不是因为日本不知道自己打不过中国,而是因为二战有几笔账根本没有算清

  黄仁勋辞职,新的女CEO上任。都以为黄仁勋输了,万万没想到,她13年前就跟了黄仁勋。她可不简单!

  库里因伤缺阵勇士惨遭三连败排名继续下滑!去年夏天两年顶薪签下巴特勒冲击总冠军却遭遇十字韧带撕裂重伤归期未定,勇士豪赌基本失败

排行

精选