面壁スマート端末向けマルチモーダルMiniCPM-V 4.7のリリース:3GBメモリで13+トークン/秒を達成
面壁スマートが新世代の端末向けマルチモーダル大規模モデルMiniCPM-V 4.7をリリースしました。提供されるのは35B-A3Bと1Bの2種類の仕様です。そのうち35B-A3Bはシリーズ初のMoEモデルであり、LES前向きエキスパート配分による推論高速化技術を活用し、業界で初めてエンドサイドで損なわれることなくスムーズに動作できるオープンソースのMoEになりました。このモデルはiPhone 17 Pro Maxで3GBのメモリしか占めず、デコード速度は13+トークン/秒に達しており、データをクラウドに送る必要がありません。