AMD發佈vLLM-ATOM插件,旨在不改變現有工作流的前提下,充分挖掘硬件潛力,爲DeepSeek-R1、Kimi-K2等主流大語言模型推理顯著提速。vLLM本身是優化高併發場景吞吐量與顯存利用率的開源框架,專注請求調度和緩存管理,ATOM插件則進一步強化了這一能力。
AMD發佈vLLM-ATOM插件,專爲大語言模型部署優化,在不改變現有工作流下,顯著提升DeepSeek-R1、Kimi-K2等國產大模型在AMD硬件上的推理性能。該插件針對Instinct系列GPU定製,利用vLLM框架的高顯存利用率優勢,讓開發者以低學習成本實現技術遷移,獲得性能平滑升級。
Linux內核近日接收了首個明確標註爲AI生成的驅動程序補丁prom21-xhci,用於爲AMD Promontory 21芯片組的xHCI控制器提供溫度傳感器數據。這標誌着AI生成代碼從實驗階段進入系統底層核心組件實用化,填補了相關領域空白,引發廣泛關注。
Linux內核近日首次引入明確標註由AI生成的硬件驅動prom21-xhci,由開發者Jihong Min主導,核心代碼藉助OpenAI的Codex GPT-5.5生成。該驅動爲AMD Promontory21芯片組的xHCI控制器提供溫度監控支持,填補了AMD 600及800系列AM5主板在Linux系統下的功能空白,標誌着AI在系統級底層開發中取得實質性突破。
Instella 是由 AMD 開發的高性能開源語言模型,專為加速開源語言模型的發展而設計。
Framework Desktop 是一款迷你型高性能桌面電腦,支持 AMD Ryzen™ AI Max 300 系列處理器,具備強大的 AI 和遊戲性能。
大規模深度循環語言模型的預訓練代碼,支持在4096個AMD GPU上運行。
AMD開源平臺,提升AI、ML和HPC工作負載性能
amd
Llama-3.1-8B-onnx-ryzenai-npu是由AMD基於Meta的Llama-3.1-8B模型開發的優化版本,專門針對AMD Ryzen AI NPU進行優化部署。該模型通過Quark量化、OGA模型構建器和NPU專用後處理技術,在保持高質量文本生成能力的同時,顯著提升了在AMD硬件上的推理效率。
本項目是基於AMD的量化工具對Qwen3-4B模型進行量化處理得到的文本生成模型,可用於聊天等場景。該模型使用AMD Quark量化工具進行準備,並進行了必要的後處理。
PARD是一種高性能的推測解碼方法,能夠以低成本將自迴歸草稿模型轉換為並行草稿模型,顯著提升大語言模型的推理速度,降低部署複雜度和適配成本。
FastFlowLM
這是基於Meta AI的LLaMA 3.1基礎模型的衍生模型,專門針對AMD Ryzen™ AI NPU上的FastFlowLM進行了優化,僅適用於XDNA2架構。模型保留了Meta發佈的核心架構和權重,可能針對特定應用進行了微調、量化或適配。
這是Meta AI發佈的LLaMA 3.2 1B Instruct模型的優化變體,專門針對AMD Ryzen™ AI NPU(XDNA2架構)上的FastFlowLM進行優化。模型保留了原始架構和權重,通過量化、底層調優等技術提升在NPU上的運行效率。
Motif-Technologies
Motif 2.6B是一個擁有26億參數的語言模型,在AMD Instinct™ MI250 GPU上從頭開始訓練,旨在構建符合人類價值觀、有用且可靠的AI。
Nitro-T 是一系列專注於高效訓練的文本到圖像擴散模型,在圖像生成基準測試中具有競爭力,訓練時間極短。
Instella-Long是由AMD開發的支持128K上下文長度的3B參數開源語言模型,在長上下文基準測試中表現優異。
PARD是一種高性能的推測解碼方法,能夠以低成本將自迴歸草稿模型轉換為並行草稿模型,顯著加速大語言模型推理。
tngtech
基於OLMo-2-0325-32B-Instruct模型,使用Open R1數學數據集在AMD MI300X GPU上微調,專注提升數學推理能力
Instella是AMD基於Instinct™ MI300X GPU從頭訓練的30億參數完全開源語言模型系列,性能超越同等規模的開源模型,並與Llama-3.2-3B、Gemma-2-2B等先進開放權重模型競爭。
AMD基於Instinct MI300X GPU訓練的30億參數全開放語言模型家族,性能超越同規模開放模型
Instella是由AMD開發的30億參數開源語言模型系列,基於AMD Instinct™ MI300X GPU訓練,性能超越同規模全開源模型。
stabilityai
AMD Ryzen™ AI優化版SDXL-Turbo,全球首個採用Block FP16格式的文本生成圖像模型,專為AMD XDNA™ 2 NPU設計
AMD Nitro Diffusion 是一系列高效的文本生成圖像模型,基於 AMD Instinct™ GPU 從主流擴散模型蒸餾而來。PixArt-Sigma Nitro 是基於 Transformer 的高分辨率單步推理模型。
基於AMD Instinct™ GPU從主流擴散模型蒸餾而成的高效文生圖模型系列
AMD-OLMo是由AMD在AMD Instinct™ MI250 GPU上從頭開始訓練的10億參數語言模型系列,包括預訓練模型、監督微調模型和基於直接偏好優化(DPO)的對齊模型。該系列模型基於OLMo架構,在Dolma數據集上進行預訓練,並在多個指令數據集上進行微調。
AMD-OLMo 是由 AMD 在 AMD Instinct™ MI250 GPU 上從頭開始訓練的一系列 10 億參數語言模型。
Phi-3.5-mini-instruct是微軟開發的高效小型語言模型,採用先進的量化技術優化,專為NPU部署設計。該模型在文本生成任務中表現出色,支持自然語言處理和代碼相關場景。
本項目基於Meta-Llama-3-8B模型,採用Quark量化技術,結合OGA模型構建器,並進行後處理以適配NPU部署,可用於文本生成任務。該模型專為AMD NPU硬件優化,支持高效的推理部署。
創建支持多架構(arm64和amd64)的Docker鏡像,用於部署MCP Everything服務器,支持SSE傳輸協議。
KognitiveKompanion是一個現代多功能的AI交互界面,支持KDE等多種桌面環境,集成OpenAI、Ollama及AMD Ryzen AI硬件加速等多種後端,提供高級UI、上下文功能和對話管理。
KognitiveKompanion是一個現代多功能的AI交互界面,支持KDE等桌面環境,提供與OpenAI、Ollama及AMD Ryzen AI硬件加速的無縫集成。