最高のFP8 AIツールモデル_厳選FP8情報

AIニュース

アントグループがトレーリオンパラメータモデルLing-1Tを発表し、GPT-5を上回り新たな基準となる

アントグループがFP8低精度訓練を採用した兆パラメータ大規模モデル「Ling-1T」をオープンソース化。Ling2.0ファミリーに属し、汎用タスクに特化した速度と効率が特徴。....

ズーピーGLM 4.6登場：国内チップの強力な連携 AI分野の再アップグレードを支援

ズーピーはGLM-4.6モデルを発表し、ハルビンジの国内チップを採用し、FP8+Int4の混合量子化配置を初めて実現しました。この技術的突破はモデルの精度を維持しながら推論コストを大幅に削減し、国内チップが大規模モデルのローカル実行をサポートする新しい道を開きました。

7.7k 23 時間前

アント・バーリンがオープンソースで効率的な思考モデルをリリースし、推論コストを大幅に削減

アント・バーリンチームは、深度推論効率の向上を目的とした2つの効率的な思考モデルであるRing-flash-linear-2.0とRing-mini-linear-2.0をオープンソースでリリースしました。同時にFP8統合演算子および線形Attention推論統合演算子も公開され、大パラメータ、低アクティブ化の効率的な推論および超長文脈に対応しています。アーキテクチャの最適化と高性能な演算子の協調により、著しい性能向上を実現しました。

11k 1 日前

清華大学チームが赤兔Chitu推論エンジンをオープンソース化、国産AIエコシステムの発展を支援

清華大学高性能計算研究所の翟季冬教授チームと清華系科創企業である清程極智は先日、大規模モデル推論エンジン「赤兔Chitu」をオープンソース化するという朗報を発表しました。この革新的な技術の登場は、特に推論エンジンの開発において、国内AI分野における新たな大きな進歩を示しています。「赤兔Chitu」エンジンの最大の特長は、NVIDIA Hopperアーキテクチャ以外のGPUや様々な国産チップ上で、FP8精度モデルをネイティブ実行できる点です。

6.3k 22 時間前

清華大学チームが赤兔Chitu推論エンジンをオープンソース化、国産AIエコシステムの発展を支援

AI製品

DeepGEMM

DeepGEMMは、効率的なFP8行列乗算のためのCUDAライブラリであり、細粒度スケーリングと様々な最適化技術をサポートしています。

開発とツール

7.7k

モデル

Qwen3 VL 2B Instruct FP8

Qwen

Qwen3-VL-2B-Instruct-FP8はQwenシリーズで最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化を採用し、性能は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力、長いコンテキストサポート、および強化された空間とビデオ動的理解能力を備えています。

Qwen3 VL 32B Instruct FP8

Qwen

Qwen3-VL-32B-Instruct-FP8はQwenシリーズの中で最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化を採用し、性能指標は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力、長いコンテキストサポート、強力な空間およびビデオ動的理解能力を備えています。

Qwen3 VL 32B Thinking FP8

Qwen

Qwen3-VL-32B-Thinking-FP8はQwenシリーズで最も強力な視覚言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化技術を採用し、性能指標は元のBF16モデルとほぼ同じです。このモデルは、優れたテキスト理解と生成能力、深い視覚認識と推論能力、長文脈サポート、強力なエージェント対話能力を備えています。

Llama 3.1 8B Instruct FP8 Block

RedHatAI

これはMeta Llama-3.1-8B-InstructモデルのFP8量子化バージョンです。重みと活性化値をFP8で量子化することで、ディスク容量とGPUメモリの要件を大幅に削減し、同時に良好なモデル性能を維持しています。

OlmOCR 2 7B 1025 FP8

allenai

olmOCR-2-7B-1025のFP8量子化バージョンで、Qwen2.5-VL-7B-Instructをベースに微調整され、数式や表などの複雑なOCRシーンを処理するためのビジョン言語モデルです。

Qwen3 VL 30B A3B Thinking FP8

Qwen

Qwen3-VL-30B-A3B-Thinking-FP8は通義シリーズで最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化を採用し、性能指標は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力を備え、長いコンテキストとビデオ理解をサポートします。

Qwen3 VL 30B A3B Instruct FP8

Qwen

Qwen3-VL-30B-A3B-Instruct-FP8は通義シリーズで最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度FP8量子化を採用し、性能は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力、長文脈サポート、強力なエージェント対話能力を備えています。

Qwen3 VL 235B A22B Thinking FP8

Qwen

Qwen3-VL-235B-A22B-Thinking-FP8は通義シリーズで最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化を採用し、性能指標は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力、長いコンテキストサポート、強力なエージェント対話能力を備えています。

マルチモーダル

Safetensors

Qwen

Qwen3 VL 235B A22B Instruct FP8

Qwen

Qwen3-VL-235B-A22B-Instruct-FP8は通義シリーズで最も強力なビジュアル言語モデルのFP8量子化バージョンで、ブロックサイズ128の細粒度fp8量子化を採用し、性能は元のBF16モデルとほぼ同じです。このモデルは卓越したテキスト理解と生成能力、深いビジュアル感知と推論能力、長いコンテキストサポート、強力な空間とビデオ動的理解能力を備えています。

Granite 4.0 H Small FP8

ibm-granite

Granite 4.0 H-Small (FP8)は、IBMが開発したGraniteシリーズの言語モデルの小型FP8量子化バージョンで、専門的、正確、かつ安全な応答を提供するために設計されています。このモデルはFP8精度フォーマットを採用し、性能を維持しながら推論効率を最適化しています。

NVIDIA Nemotron Nano 9B V2 FP8 Dynamic

RedHatAI

これはNVIDIA-Nemotron-Nano-9B-v2モデルのFP8動的量子化バージョンで、重みと活性化をFP8データ型に量子化することで最適化を実現し、ディスクサイズとGPUメモリ要件を約50％削減し、同時に優れたテキスト生成性能を維持します。

Qwen3 VL 235B A22B Instruct FP8 Block

RedHatAI

これはQwen3-VL-235B-A22B-Instructの量子化バージョンで、重みと活性化値をFP8データ型に量子化することで、ディスク容量とGPUメモリの要件を約50％削減します。テキスト、画像、ビデオの入力をサポートし、テキストを出力し、さまざまな自然言語処理とマルチモーダルタスクに適しています。

Qwen3 VL 235B A22B Instruct FP8 Dynamic

RedHatAI

Qwen3-VL-235B-A22B-Instruct-FP8-dynamicはQwen3-VL-235B-A22B-Instructの量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスクサイズとGPUメモリの要件を大幅に削減し、同時に高いモデル性能を維持しています。

Qwen3 Next 80B A3B Instruct FP8 Dynamic

TheClusterDev

これはQwen3-Next-80B-A3B-InstructモデルのFP8量子化バージョンで、vLLMフレームワークを通じてサポートされ、モデルの品質を維持しながらモデルサイズを大幅に削減し、推論効率を向上させます。

Qwen Image PJ0 Realism GGUF

QuantStack

FP8バージョンから量子化されたテキストから画像生成モデルで、GGUF形式のファイルを提供し、ComfyUIフレームワークの画像生成タスクに適しています。

Devstral Small 2507 FP8 Dynamic

RedHatAI

Devstral-Small-2507-FP8-Dynamicは、Devstral-Small-2507の重みとアクティベーションをFP8データ型に量子化することで得られた最適化モデルで、GPUメモリとディスク容量の要件を約50％削減し、同時に元のモデルに近い性能を維持します。

Gemma 3 27b It FP8

pytorch

これはPyTorchチームによって開発されたFP8量子化バージョンのGemma-3-27Bモデルで、google/gemma-3-27b-itに基づいてFP8量子化処理が行われています。このモデルはvLLMとTransformersの2つの方法で効率的な推論をサポートし、モデルの品質を維持しながらメモリ使用量を大幅に削減し、推論速度を向上させています。