taobao-mnn
基於gpt-oss-20b模型導出的MNN模型的4位量化版本,專為文本生成任務優化,支持聊天等應用場景,具有高效的推理性能和較低的內存佔用
這是DeepSeek-R1-0528-Qwen3-8B模型的MNN格式4位量化版本,專為高效推理優化。基於Qwen3-8B架構,支持文本生成和對話功能,適用於資源受限環境。
FastVLM-1.5B-Stage3-MNN是基於Transformer架構的文本生成模型,是FastVLM-1.5B-Stage3的8位量化版本,適用於聊天等文本生成場景。
基於Qwen3-30B-A3B導出的MNN模型,經過4位量化後的版本,適用於高效推理。
基於Qwen2.5-Omni-3B導出的MNN模型4位量化版本,通過llmexport工具實現,提供高效的推理性能
Qwen3-4B的MNN模型4位量化版本,用於高效文本生成任務
基於InternVL2_5-1B的4位量化版本,適用於文本生成和聊天場景
基於Qwen2.5-Omni-7B導出的MNN模型的4位量化版本,專為文本生成和聊天場景優化,具有高效的推理性能。
Qwen2-0.5B-Instruct-MNN是基於Qwen2-0.5B-Instruct導出的MNN模型的4位量化版本,適用於文本生成和聊天場景。
基於Qwen2.5-0.5B-Instruct通過llmexport工具導出的MNN模型的4位量化版本,專為文本生成和聊天場景優化,具有輕量化和高效推理的特點。