gemma.cppは、GoogleがGemmaモデル向けに開発した軽量でスタンドアロンのC++推論エンジンです。Gemma 2Bおよび7Bモデルに対するシンプルで直接的な実装に重点を置いており、研究や実験用途、他のプロジェクトへの容易な埋め込み、高い修正可能性を目的としています。gemma.cppはGoogle Highwayライブラリを活用し、CPU推論性能を最適化しています。