英伟达与MIT合作推出 Fast-dLLM 框架,AI 推理速度提升 27.6 倍
近日,科技巨头英伟达联合麻省理工学院(MIT)与香港大学,发布了名为 Fast-dLLM 的新框架。这一创新的框架旨在显著提高扩散模型(Diffusion-based LLMs)的推理速度,最高可达27.6倍,为人工智能的应用提供了更为强大的技术支持。 扩散模型的挑战与机遇扩散模型被视为传统自回归模型(Autoregressive Models)的有力竞争者。它采用双向注意力机制(Bidirectional Attention Mechanisms),理论上能够通过同步生成多个词元(Multi-token Generation)来加速解码过程。然而,在实际应用中,扩散模型的推理速度常常不及