Qwen3-VL-2B-Instruct-FP8是Qwen系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化，性能與原始BF16模型幾乎相同。該模型具備卓越的文本理解和生成能力、深入的視覺感知與推理能力、長上下文支持以及增強的空間和視頻動態理解能力。

多模態Transformers

Qwen3-VL-32B-Instruct-FP8是Qwen系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化，性能指標與原始BF16模型幾乎相同。該模型具備卓越的文本理解與生成能力、深入的視覺感知與推理能力、長上下文支持以及強大的空間和視頻動態理解能力。

多模態Transformers

Qwen3-VL-32B-Thinking-FP8是Qwen系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化技術，性能指標與原始BF16模型幾乎相同。該模型具備出色的文本理解與生成能力、深入的視覺感知與推理能力、長上下文支持以及強大的智能體交互能力。

多模態Safetensors

這是Meta Llama-3.1-8B-Instruct模型的FP8量化版本，通過對權重和激活值進行FP8量化，顯著減少了磁盤大小和GPU內存需求，同時保持了良好的模型性能。

自然語言處理Safetensors

olmOCR-2-7B-1025的FP8量化版本，基於Qwen2.5-VL-7B-Instruct微調而來，專門用於處理數學方程、表格等複雜OCR場景的視覺語言模型。

多模態Transformers英語

Qwen3-VL-30B-A3B-Thinking-FP8是通義系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化，性能指標與原始BF16模型幾乎相同。該模型具備卓越的文本理解與生成能力、深入的視覺感知與推理能力，支持長上下文和視頻理解。

多模態Safetensors

Qwen3-VL-30B-A3B-Instruct-FP8是通義系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度FP8量化，性能與原始BF16模型幾乎相同。該模型具備卓越的文本理解和生成能力、深入的視覺感知和推理能力、長上下文支持以及強大的智能體交互能力。

多模態Safetensors

Qwen3-VL-235B-A22B-Thinking-FP8是通義系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化，性能指標與原始BF16模型幾乎相同。該模型具備卓越的文本理解與生成能力、深入的視覺感知與推理能力、長上下文支持以及強大的智能體交互能力。

多模態Safetensors

Qwen3-VL-235B-A22B-Instruct-FP8是通義系列中最強大的視覺語言模型的FP8量化版本，採用塊大小為128的細粒度fp8量化，性能與原始BF16模型幾乎相同。該模型具備卓越的文本理解與生成能力、深入的視覺感知與推理能力、長上下文支持以及強大的空間和視頻動態理解能力。

多模態Safetensors

Granite 4.0 H-Small (FP8) 是IBM開發的Granite系列語言模型的小型FP8量化版本，專為提供專業、準確和安全的回覆而設計。該模型採用FP8精度格式，在保持性能的同時優化了推理效率。

自然語言處理Transformers

這是NVIDIA-Nemotron-Nano-9B-v2模型的FP8動態量化版本，通過將權重和激活量化為FP8數據類型實現優化，顯著減少磁盤大小和GPU內存需求約50%，同時保持出色的文本生成性能。

自然語言處理Transformers多語言

這是Qwen3-VL-235B-A22B-Instruct的量化版本，通過將權重和激活值量化為FP8數據類型，有效減少了磁盤大小和GPU內存需求約50%。支持文本、圖像和視頻輸入，輸出文本，適用於多種自然語言處理和多模態任務。

多模態Safetensors

Qwen3-VL-235B-A22B-Instruct-FP8-dynamic 是 Qwen3-VL-235B-A22B-Instruct 的量化版本，通過將權重和激活量化為 FP8 數據類型，顯著減少了磁盤大小和 GPU 內存需求，同時保持了較高的模型性能。

多模態Safetensors

這是Qwen3-Next-80B-A3B-Instruct模型的FP8量化版本，通過vLLM框架支持，在保持模型質量的同時顯著減小了模型體積，提升了推理效率。

自然語言處理Safetensors

基於FP8版本量化而來的文本到圖像生成模型，提供GGUF格式文件，適用於ComfyUI框架的圖像生成任務

多模態Gguf多語言

Devstral-Small-2507-FP8-Dynamic是通過將Devstral-Small-2507的權重和激活量化為FP8數據類型而獲得的優化模型，能夠有效減少GPU內存和磁盤大小需求約50%，同時保持接近原始模型的性能表現。

自然語言處理Safetensors英語

這是由PyTorch團隊開發的FP8量化版本Gemma-3-27B模型，基於google/gemma-3-27b-it進行FP8量化處理。該模型通過vLLM和Transformers兩種方式支持高效推理，在保持模型質量的同時顯著降低了內存使用並提升了推理速度。

自然語言處理Transformers英語

這是OpenGVLab/InternVL3_5-8B的fp8動態(w8a8)量化版本，針對vLLM高性能推理進行了優化。採用FP8動態量化技術，在保持視覺理解能力的同時顯著減少內存佔用並提升推理速度。

多模態Safetensors多語言

這是InternVL3_5-GPT-OSS-20B-A4B-Preview模型的FP8動態量化版本，採用w8a8技術優化，專門針對vLLM進行高性能推理部署。該模型在保持視覺語言理解能力的同時，顯著提升了推理速度和內存效率。

多模態Safetensors多語言

這是OpenGVLab/InternVL3_5-30B-A3B的fp8動態(w8a8)量化版本，針對vLLM高性能推理優化，採用FP8動態量化技術，內存佔用減少約50%，推理速度顯著提升

多模態Safetensors其他