​NVIDIA聯合高校發佈 “FlashInfer”：提升大語言模型推理效率的全新內核庫

隨着大語言模型（LLM）在現代人工智能應用中的廣泛應用，諸如聊天機器人和代碼生成器等工具依賴於這些模型的能力。然而，隨之而來的推理過程中的效率問題也日益突出。尤其是在處理注意力機制時，如 FlashAttention 和 SparseAttention，面對多樣化的工作負載、動態輸入模式以及 GPU 資源限制時，往往顯得力不從心。這些挑戰加上高延遲和內存瓶頸，迫切需要更高效、靈活的解決方案，以支持可擴展和響應迅速的 LLM 推理。爲了解決這一問題，來自華盛頓大學、NVIDIA、Perplexity AI 和卡內基梅