Olmo-3-7B-Instruct-AIO-GGUFは、Allen Institute for AIが開発したOlmo-3-7B-InstructモデルのGGUF量子化バージョンです。これは70億パラメータの自己回帰型言語モデルで、Tulu 2やUltraFeedbackなどのデータセットで教師付き微調整と直接的な嗜好最適化を行って訓練され、質問応答と指令の遵守において優れた性能を発揮します。

自然言語処理Transformers英語

これはai-sage/GigaChat3-10B-A1.8B-bf16モデルのGGUF量子化バージョンで、高精度のQ8_0から極度に圧縮されたsmol-IQ1_KTまで、さまざまな量子化オプションを提供し、さまざまなハードウェア条件でのデプロイメントニーズを満たします。このモデルは32Kのコンテキスト長をサポートし、MLAアーキテクチャを採用し、対話シナリオに最適化されています。

自然言語処理Ggufその他

これは ai-sage/GigaChat3-702B-A36B-preview-bf16 モデルの量子化バージョンで、一般の人々に無料で知識を取得する手段を提供することを目的としています。このモデルは大型言語モデルで、テキスト生成タスクに特化しています。

自然言語処理Gguf

これはai - sage/GigaChat3-10B-A1.8Bモデルの量子化バージョンで、GGUF形式を採用し、特定のllama.cppブランチのサポートが必要です。モデルは混合専門家アーキテクチャを採用し、総パラメータ数は約118億で、そのうち活性化パラメータ数は約18億です。

自然言語処理Gguf多言語

これはMoonshot AI技術に基づく量子化バージョンのモデルで、ビジュアル言語の理解と生成タスクに特化しており、知識の取得障壁を低くし、知識を誰もが利用できるようにすることを目指しています。

自然言語処理Gguf

Kimi K2 Thinkingは月の暗面（Moonshot AI）が開発した最新世代のオープンソース思考モデルで、強力な深度推論能力とツール呼び出し機能を備えています。このモデルは混合専門家アーキテクチャを採用し、ネイティブINT4量子化をサポートし、256kのコンテキストウィンドウを持ち、複数のベンチマークテストで優れた性能を発揮します。

自然言語処理Transformers

これは慧慧AIモデルHuihui-MoE-60B-A3B-abliteratedのMXFP4_MOE量子化バージョンで、テキスト生成をサポートします。この量子化バージョンは特定の基礎モデルに基づいて処理され、モデルのパフォーマンスと使用体験をある程度最適化することができます。

自然言語処理Gguf

GLM-4.6-AWQは、智譜AIのGLM-4.6（357B MoE）を高性能AWQ量子化したモデルで、vLLM推論用に最適化されており、本番デプロイのスループットを効果的に向上させます。このモデルは4ビット量子化技術を採用しており、高精度を維持しながら顕著にVRAM使用量を削減します。

自然言語処理Transformers多言語

Llama-3.1-8B-onnx-ryzenai-npuは、AMDがMetaのLlama-3.1-8Bモデルをベースに開発した最適化バージョンで、AMD Ryzen AI NPU向けに最適化されたデプロイが行われています。このモデルは、Quark量子化、OGAモデルビルダー、およびNPU専用の後処理技術を通じて、高品質なテキスト生成能力を維持しながら、AMDハードウェア上での推論効率を大幅に向上させています。

自然言語処理Onnx英語

これはQwen/Qwen3-0.6B言語モデルのGGUF量子化バージョンで、6億のパラメータを持つコンパクトな大規模言語モデルで、低リソースデバイスでの超高速推論用に設計されています。llama.cpp、LM Studio、OpenWebUI、GPT4Allなどのフレームワークをサポートし、どこでもオフラインでプライベートAIを使用できます。

自然言語処理Gguf多言語

ConfTuner-MinistralはMistralアーキテクチャに基づく量子化大規模言語モデルで、信頼性の高いAIシナリオに特化して微調整され、テキスト生成と信頼度推定機能をサポートしています。このモデルは複数の量子化バージョンを提供し、異なるリソース制約環境に適しています。

自然言語処理Transformers英語

これは liushiliushi/ConfTuner-Ministral モデルの静的量子化バージョンで、テキスト生成と信頼度推定タスクに適しています。このモデルはMistralアーキテクチャに基づいており、信頼できるAI出力を提供するように微調整されており、さまざまな量子化レベルをサポートして異なるハードウェア要件を満たします。

自然言語処理Transformers英語

NVIDIA Qwen2.5-VL-7B-Instruct-FP4は、アリババのQwen2.5-VL-7B-Instructモデルの量子化バージョンで、最適化されたTransformerアーキテクチャを採用し、マルチモーダル入力（テキストと画像）をサポートし、さまざまなAIアプリケーションシナリオに適しています。このモデルはTensorRT Model Optimizerを使用してFP4量子化され、NVIDIA GPU上で効率的な推論性能を提供します。

マルチモーダルSafetensors

NVIDIA Qwen3-32B FP4モデルは、アリババのQwen3-32Bモデルの量子化バージョンで、最適化されたTransformerアーキテクチャを使用し、重みと活性化関数をFP4で量子化しています。AIエージェントシステム、チャットボット、RAGシステムなどのAIアプリケーションに適しています。

自然言語処理Safetensors

NVIDIA Qwen3-32B FP4モデルは、アリババクラウドのQwen3-32Bモデルの量子化バージョンで、最適化されたTransformerアーキテクチャを使用し、重みと活性化をFP4データ型に量子化することで、効率的な推論を実現します。このモデルは、商用および非商用用途をサポートし、さまざまなAIアプリケーションシナリオに適しています。

自然言語処理Safetensors

これはNVIDIAがアリババのQwen3-14BモデルをFP8で量子化したバージョンで、最適化されたTransformerアーキテクチャを採用し、131Kのコンテキスト長をサポートし、さまざまなAIアプリケーションシナリオに適しています。

自然言語処理Safetensors

NVIDIA Qwen3-14B FP4モデルは、アリババのQwen3-14Bモデルの量子化バージョンで、FP4データ型を用いて最適化され、TensorRT-LLMによる効率的な推論が可能です。このモデルはNVIDIA GPU加速システム向けに設計されており、AIエージェントシステム、チャットボット、RAGシステムなどの様々なAIアプリケーションシーンに適しており、世界中での商用および非商用利用がサポートされています。

自然言語処理Safetensors

NVIDIA Qwen3-8B FP4モデルは、アリババのQwen3-8Bモデルの量子化バージョンで、最適化されたTransformerアーキテクチャを採用した自己回帰型言語モデルです。このモデルはFP4量子化技術を使用し、パフォーマンスを維持しながらメモリ使用量と計算要件を大幅に削減し、AIエージェントシステム、チャットボット、RAGシステムなどのアプリケーションシナリオに適しています。

自然言語処理Safetensors

これはMoonshot AIのKimi-K2-Instruct-0905モデルの高品質量子化バージョンで、HQ4_K量子化方法を採用し、推論性能を特別に最適化し、75000のコンテキスト長をサポートし、テキスト生成タスクに適しています。

自然言語処理Ggufその他

本プロジェクトは、騰訊の混元-MT-7B大規模言語モデルの量子化バージョンを提供します。モデル圧縮技術を通じて計算と記憶の要件を削減し、知識をすべての人に利用可能にすることを目指し、高性能なAIモデルをより普及させ、使いやすくします。

自然言語処理Gguf