2026驍龍峯會上,高通與PrismML在驍龍AR1 Gen 1智能眼鏡平臺本地運行20億參數1-bit量化Bonsai視覺模型,實現離線識圖問答。該模型基於Bonsai 1.7B構建,精度壓縮至1-bit,內存佔用僅爲4-bit模型四分之一,同等內存可容納約4倍參數,顯著降低存儲與推理資源需求。
全球首個27B級手機AI模型Bonsai27B問世,基於Qwen3.6,採用三進制與二進制壓縮技術:三元版5.9GB側重性能,可在筆記本運行;1-bit版極致縮小,適配移動端。這一突破標誌着大模型輕量化部署的重大飛躍。
Xai
$1.4
輸入tokens/百萬
$3.5
輸出tokens/百萬
2k
上下文長度
Openai
$0.4
-
128
Huawei
32
Chatglm
Tencent
$0.5
$2
224
$1
$3
4
Bytedance
Deepseek
8
Alibaba
$6
$18
256
Baidu
$0.8
$3.2
01-ai
$0.99
legraphista
這是 DeepSeek-Coder-V2-Instruct 模型的 GGUF 量化版本,使用 llama.cpp 的 IMatrix 技術進行優化量化。該模型專門針對代碼生成和編程任務進行了優化,提供了從 1-bit 到 8-bit 的多種量化選項,適用於不同硬件環境下的高效推理。