Swiftlet が 80B 程度の Qwen マンモスを Mac に詰め込む：ピークメモリはわずか 4.3GB、iPhone 17 も元気に 35B を動作可能

Swiftlet プロジェクトでは Swift + Metal を利用し、Qwen3-Next などの MoE モデルを Mac 上で最適化して軽量化して実行しています。常駐する小さな密なコアのみを保持し、エキスパートの重みは SSD に保存され、必要なときにストリーミングで読み込みます。M5 Mac において、Qwen3.6-35B-A3B の 4 ビット版はディスク領域でわずか 18GB に収まり、ピークメモリは 2.6GB にとどまり、デコード速度は 7–11 tok/s に達します。