NVIDIA Qwen3-14B FP4模型是阿里巴巴Qwen3-14B模型的量化版本，採用FP4數據類型進行優化，通過TensorRT-LLM進行高效推理。該模型專為NVIDIA GPU加速系統設計，適用於AI Agent系統、聊天機器人、RAG系統等多種AI應用場景，支持全球範圍內的商業和非商業使用。

自然語言處理Safetensors

NVIDIA Qwen3-14B FP4 模型是阿里雲 Qwen3-14B 模型的量化版本，採用優化的 Transformer 架構，是一個自迴歸語言模型。該模型使用 TensorRT Model Optimizer 進行量化，將權重和激活量化為 FP4 數據類型，可在 NVIDIA GPU 加速系統上實現高效推理。

自然語言處理Safetensors

這是由PyTorch團隊使用torchao進行量化的Qwen3-8B模型，採用int4僅權重量化和AWQ算法。該模型在H100 GPU上可減少53%顯存使用並實現1.34倍加速，專門針對mmlu_abstract_algebra任務進行了校準優化。

自然語言處理Transformers英語

Jet-Nemotron-4B是NVIDIA推出的高效混合架構語言模型，基於後神經架構搜索和JetBlock線性注意力模塊兩大核心創新構建，在性能上超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等開源模型，同時在H100 GPU上實現了最高53.6倍的生成吞吐量加速。

自然語言處理Transformers英語

Jet-Nemotron是一個新型混合架構語言模型家族，超越了Qwen3、Qwen2.5、Gemma3和Llama3.2等最先進的開源全注意力語言模型，同時實現了顯著的效率提升——在H100 GPU上生成吞吐量最高可達53.6倍加速。

自然語言處理Transformers英語

這是DeepSeek-R1-Distill-Qwen-32B的量化版本，通過將權重和激活量化為FP8數據類型，減少了磁盤大小和GPU內存需求約50%，同時在推理性能上有顯著提升，最高可實現1.7倍加速。

自然語言處理Transformers

Infinity的穩定默認嵌入模型，專門用於句子特徵提取和相似度計算任務。支持GPU加速和CPU優化推理，提供高效的文本嵌入能力。

自然語言處理Sentence-transformers英語

提供GGUF格式的量化與非量化嵌入模型，專為llama.cpp設計。在CPU上運行時能大幅提升速度，GPU上對大型模型也有適度加速。

自然語言處理Gguf