近日,AMD 与高通联合宣布,旗下硬件正式支持 OpenAI 推出的 gpt-oss 系列开放推理模型,标志着边缘计算和 AI 的结合迈出了重要一步。OpenAI 新发布的 gpt-oss 系列包括两个模型:参数较少的 gpt-oss-20b 和更复杂的 gpt-oss-120b。前者可以在配备16GB 内存的设备上流畅运行,而后者则能在单个80GB 显卡上高效执行。
AMD 自豪地宣布,锐龙 AI Max+395处理器成为全球首款能够运行 gpt-oss-120b 模型的消费级 AI PC 处理器。为了适应这一强大的模型,AMD 采用了 GGML 框架和 MXFP4格式,使得 gpt-oss-120b 在使用大约61GB 显存时得以顺畅运行。此外,"Strix Halo" 平台通过128GB 的统一内存,能够将96GB 分配给 GPU,从而满足运行需求。
在性能方面,锐龙 AI Max+395在运行 gpt-oss-120b 时可以实现每秒30个 Token 的输出速度,并且支持 MCP 模型上下文协议。这意味着用户在处理复杂任务时可以享受到更快的响应速度和更高的效率。
高通则表示,经过早期测试,gpt-oss-20b 模型在其骁龙平台上展现出色的思维链推理能力。开发者可以通过 Hugging Face 和 Ollama 等知名平台,在搭载骁龙芯片的设备上轻松访问这一模型,从而充分发挥其强大功能。
这一合作不仅展示了 AMD 与高通在 AI 领域的前瞻性视野,也为边缘计算和人工智能的未来发展铺平了道路。随着 gpt-oss 模型的广泛应用,我们可以期待更加智能化的设备和更灵活的 AI 应用场景。