Flock of Finches 37B-A11B v0.1 ist das neueste Mitglied der RWKV-Familie. Es handelt sich um ein experimentelles Modell mit 1,1 Milliarden aktiven Parametern. Obwohl es nur mit 1090 Milliarden Tokens trainiert wurde, erreicht es in gängigen Benchmarks ähnliche Ergebnisse wie das kürzlich veröffentlichte Finch 14B-Modell. Das Modell verwendet eine effiziente, sparse Mixture-of-Experts (MoE)-Methode, bei der zu jedem Zeitpunkt nur ein Teil der Parameter aktiviert wird. Dies spart Zeit und Rechenressourcen während des Trainings und der Inferenz. Obwohl diese Architektur zu einem höheren VRAM-Verbrauch führt, halten wir die Möglichkeit, leistungsstärkere Modelle kostengünstig zu trainieren und zu betreiben, für sehr lohnenswert.