SmolLM3-3B-INT8-INT4は、HuggingFaceTB/SmolLM3-3Bモデルを量子化したバージョンで、torchaoを使用して8ビット埋め込み、8ビット動的活性化、および4ビット重みの線形量子化を実現しています。このモデルはExecuTorch形式に変換され、最適化によりCPUバックエンドで高性能を実現し、特にモバイルデバイスへのデプロイに適しています。

自然言語処理Pytorch

Qwen 3はExecuTorchランタイムに基づく言語モデルで、異なる規模の量子化と非量子化バージョンを提供します。