phixtral-2x2_8 ist das erste Ensemble-Modell, das aus zwei microsoft/phi-2-Modellen besteht und von der Architektur von mistralai/Mixtral-8x7B-v0.1 inspiriert wurde. Seine Leistung übertrifft die einzelner Expertenmodelle. Das Modell zeigt hervorragende Ergebnisse bei verschiedenen Bewertungsmetriken wie AGIEval, GPT4All, TruthfulQA und Bigbench. Es verwendet eine angepasste Version der mergekit-Bibliothek (Mixtral-Branch) und spezifische Konfigurationen. Nutzer können Phixtral mit 4-Bit-Genauigkeit auf einer kostenlosen T4-GPU im Colab Notebook ausführen. Das Modell umfasst 4,46 Milliarden Parameter und verwendet den Tensor-Typ F16.