gemma.cpp ist eine leichtgewichtige, eigenständige C++-Inferenz-Engine für das Google Gemma-Modell. Sie konzentriert sich auf eine schlanke und direkte Implementierung für die Gemma 2B- und 7B-Modelle und zielt auf Forschungs- und experimentelle Anwendungsfälle ab. Sie ist einfach in andere Projekte einzubetten und bietet hohe Modifizierbarkeit. gemma.cpp nutzt die Google Highway-Bibliothek zur Optimierung der CPU-Inferenzleistung.