これはTheDrummerのSnowpiercer-15B-v4モデルの量子化バージョンで、llama.cppとimatrix技術を使用して量子化処理されています。このバージョンはBF16からIQ2_Sまでの多くの量子化レベルを提供し、さまざまなハードウェア条件とパフォーマンス要件を持つユーザーのニーズを満たします。モデルは特定のデータセットを使用してキャリブレーションと最適化が行われ、ARMとAVXハードウェアでのパフォーマンスを向上させるためのオンライン再パッケージング機能をサポートしています。
自然言語処理
Gguf