谷歌云21日宣布，计划基于英伟达Vera Rubin平台，在多个算力站点最多部署96万块Rubin GPU，将下一代加速器规模推至百万级，以在AI算力竞争中抢占云市场。同步发布基于Vera Rubin NVL72的A5X实例，采用ConnectX-9 SuperNIC，配合谷歌云Virgo网络。
在OCP全球峰会上，英特尔发布面向AI推理的全新GPU D系列（代号Crescent Island，产品页为D270）。该加速卡不同于游戏渲染GPU，专为长上下文处理和多路并发推理设计，最高支持480GB LPDDR5X显存，主打高显存、低功耗与无缝兼容，标志其发力AI推理赛道。
微软推出第三代自研AI芯片Maia300，计划2027年投产，目标成为其产品和服务的主要AI推理系统。芯片重点提升云端AI推理性能与能效，优化长上下文、低延迟对话及多步骤智能体任务。微软云执行副总裁Scott Guthrie称，相较领先GPU，其每兆瓦Token交付量预计提升40%，96加速器配置下机架级Token吞吐量也有提升。
OpenAI内部AI已能自主接管实验性模型训练全流程，多智能体自发协作大幅压缩实验耗时，甚至可编写GPU内核优化程序，被视为递归式自我提升（RSI）雏形。面对加速势头，OpenAI发布全球安全倡议，但明确表示全自主RSI尚未真正发生。
现代硬件设计的CAD软件
NVIDIA GPU上加速LLM推理的创新技术
AMD开源平台，提升AI、ML和HPC工作负载性能
在Cloudflare全球网络运行机器学习模型
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
-
Bytedance
$0.8
$2
128
Alibaba
$0.4
$8.75
$70
400
$1.75
$14
$0.35
64
$0.63
$3.15
131
$1.8
$5.4
16
Tencent
32
$17.5
$56
$0.7
$2.4
$9.6
Google
$0.14
$0.28
nvidia
NVIDIA Qwen3-14B FP4模型是阿里巴巴Qwen3-14B模型的量化版本，采用FP4数据类型进行优化，通过TensorRT-LLM进行高效推理。该模型专为NVIDIA GPU加速系统设计，适用于AI Agent系统、聊天机器人、RAG系统等多种AI应用场景，支持全球范围内的商业和非商业使用。
NVIDIA Qwen3-14B FP4 模型是阿里云 Qwen3-14B 模型的量化版本，采用优化的 Transformer 架构，是一个自回归语言模型。该模型使用 TensorRT Model Optimizer 进行量化，将权重和激活量化为 FP4 数据类型，可在 NVIDIA GPU 加速系统上实现高效推理。
pytorch
这是由PyTorch团队使用torchao进行量化的Qwen3-8B模型，采用int4仅权重量化和AWQ算法。该模型在H100 GPU上可减少53%显存使用并实现1.34倍加速，专门针对mmlu_abstract_algebra任务进行了校准优化。
jet-ai
Jet-Nemotron-4B是NVIDIA推出的高效混合架构语言模型，基于后神经架构搜索和JetBlock线性注意力模块两大核心创新构建，在性能上超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等开源模型，同时在H100 GPU上实现了最高53.6倍的生成吞吐量加速。
Jet-Nemotron是一个新型混合架构语言模型家族，超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等最先进的开源全注意力语言模型，同时实现了显著的效率提升——在H100 GPU上生成吞吐量最高可达53.6倍加速。
RedHatAI
这是DeepSeek-R1-Distill-Qwen-32B的量化版本，通过将权重和激活量化为FP8数据类型，减少了磁盘大小和GPU内存需求约50%，同时在推理性能上有显著提升，最高可实现1.7倍加速。
michaelfeil
Infinity的稳定默认嵌入模型，专门用于句子特征提取和相似度计算任务。支持GPU加速和CPU优化推理，提供高效的文本嵌入能力。
CompendiumLabs
提供GGUF格式的量化与非量化嵌入模型，专为llama.cpp设计。在CPU上运行时能大幅提升速度，GPU上对大型模型也有适度加速。
该项目集成Graphistry的GPU加速图可视化平台与模型控制协议(MCP)，为AI助手和大型语言模型提供先进的图分析能力，支持多种数据格式和网络分析功能。
Kyutai TTS的Docker部署方案，提供一键启动的Web界面、REST API和MCP工具支持，支持GPU加速和多语言界面。
Hyperbolic GPU MCP服务器是一个与Hyperbolic GPU云交互的工具，允许代理和LLM查看、租用GPU，并通过SSH连接运行GPU加速的工作负载。
QuantConnect Lean算法交易引擎一体化Docker镜像，支持GPU自动选择、现代Web界面、REST API和MCP协议集成
一个MCP服务器，用于在Google Colab的GPU运行时（T4/L4）上分配资源并执行Python代码，使AI助手能够远程运行GPU加速的计算任务。
MCP说话人分离与识别系统是一个集成了GPU加速的说话人分离、语音识别、情感检测和Web界面的完整解决方案。它结合了pyannote.audio的说话人分离与faster-whisper转录技术，支持持久化说话人识别（一次注册，永久识别）、双检测器情感分析（结合通用AI与个性化声纹）、实时流处理、REST API和MCP服务器，专为AI智能体集成和爱好项目设计。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Join Now
