谷歌雲21日宣佈，計劃基於英偉達Vera Rubin平臺，在多個算力站點最多部署96萬塊Rubin GPU，將下一代加速器規模推至百萬級，以在AI算力競爭中搶佔雲市場。同步發佈基於Vera Rubin NVL72的A5X實例，採用ConnectX-9 SuperNIC，配合谷歌雲Virgo網絡。
在OCP全球峯會上，英特爾發佈面向AI推理的全新GPU D系列（代號Crescent Island，產品頁爲D270）。該加速卡不同於遊戲渲染GPU，專爲長上下文處理和多路併發推理設計，最高支持480GB LPDDR5X顯存，主打高顯存、低功耗與無縫兼容，標誌其發力AI推理賽道。
微軟推出第三代自研AI芯片Maia300，計劃2027年投產，目標成爲其產品和服務的主要AI推理系統。芯片重點提升雲端AI推理性能與能效，優化長上下文、低延遲對話及多步驟智能體任務。微軟雲執行副總裁Scott Guthrie稱，相較領先GPU，其每兆瓦Token交付量預計提升40%，96加速器配置下機架級Token吞吐量也有提升。
OpenAI內部AI已能自主接管實驗性模型訓練全流程，多智能體自發協作大幅壓縮實驗耗時，甚至可編寫GPU內核優化程序，被視爲遞歸式自我提升（RSI）雛形。面對加速勢頭，OpenAI發佈全球安全倡議，但明確表示全自主RSI尚未真正發生。
現代硬件設計的CAD軟件
NVIDIA GPU上加速LLM推理的創新技術
AMD開源平臺，提升AI、ML和HPC工作負載性能
在Cloudflare全球網絡運行機器學習模型
Openai
$2.8
輸入tokens/百萬
$11.2
輸出tokens/百萬
1k
上下文長度
-
Bytedance
$0.8
$2
128
Alibaba
$0.4
$8.75
$70
400
$1.75
$14
$0.35
64
$0.63
$3.15
131
$1.8
$5.4
16
Tencent
32
$17.5
$56
$0.7
$2.4
$9.6
Google
$0.14
$0.28
nvidia
NVIDIA Qwen3-14B FP4模型是阿里巴巴Qwen3-14B模型的量化版本，採用FP4數據類型進行優化，通過TensorRT-LLM進行高效推理。該模型專為NVIDIA GPU加速系統設計，適用於AI Agent系統、聊天機器人、RAG系統等多種AI應用場景，支持全球範圍內的商業和非商業使用。
NVIDIA Qwen3-14B FP4 模型是阿里雲 Qwen3-14B 模型的量化版本，採用優化的 Transformer 架構，是一個自迴歸語言模型。該模型使用 TensorRT Model Optimizer 進行量化，將權重和激活量化為 FP4 數據類型，可在 NVIDIA GPU 加速系統上實現高效推理。
pytorch
這是由PyTorch團隊使用torchao進行量化的Qwen3-8B模型，採用int4僅權重量化和AWQ算法。該模型在H100 GPU上可減少53%顯存使用並實現1.34倍加速，專門針對mmlu_abstract_algebra任務進行了校準優化。
jet-ai
Jet-Nemotron-4B是NVIDIA推出的高效混合架構語言模型，基於後神經架構搜索和JetBlock線性注意力模塊兩大核心創新構建，在性能上超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等開源模型，同時在H100 GPU上實現了最高53.6倍的生成吞吐量加速。
Jet-Nemotron是一個新型混合架構語言模型家族，超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等最先進的開源全注意力語言模型，同時實現了顯著的效率提升——在H100 GPU上生成吞吐量最高可達53.6倍加速。
RedHatAI
這是DeepSeek-R1-Distill-Qwen-32B的量化版本，通過將權重和激活量化為FP8數據類型，減少了磁盤大小和GPU內存需求約50%，同時在推理性能上有顯著提升，最高可實現1.7倍加速。
michaelfeil
Infinity的穩定默認嵌入模型，專門用於句子特徵提取和相似度計算任務。支持GPU加速和CPU優化推理，提供高效的文本嵌入能力。
CompendiumLabs
提供GGUF格式的量化與非量化嵌入模型，專為llama.cpp設計。在CPU上運行時能大幅提升速度，GPU上對大型模型也有適度加速。
該項目集成Graphistry的GPU加速圖可視化平臺與模型控制協議(MCP)，為AI助手和大型語言模型提供先進的圖分析能力，支持多種數據格式和網絡分析功能。
QuantConnect Lean算法交易引擎一體化Docker鏡像，支持GPU自動選擇、現代Web界面、REST API和MCP協議集成
Kyutai TTS的Docker部署方案，提供一鍵啟動的Web界面、REST API和MCP工具支持，支持GPU加速和多語言界面。
Hyperbolic GPU MCP服務器是一個與Hyperbolic GPU雲交互的工具，允許代理和LLM查看、租用GPU，並通過SSH連接運行GPU加速的工作負載。
一個MCP服務器，用於在Google Colab的GPU運行時（T4/L4）上分配資源並執行Python代碼，使AI助手能夠遠程運行GPU加速的計算任務。
MCP說話人分離與識別系統是一個集成了GPU加速的說話人分離、語音識別、情感檢測和Web界面的完整解決方案。它結合了pyannote.audio的說話人分離與faster-whisper轉錄技術，支持持久化說話人識別（一次註冊，永久識別）、雙檢測器情感分析（結合通用AI與個性化聲紋）、即時流處理、REST API和MCP服務器，專為AI智能體集成和愛好項目設計。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
VIP會員
