Flock of Finches 37B-A11B v0.1 es el miembro más reciente de la familia RWKV. Se trata de un modelo experimental con 1100 millones de parámetros activos. A pesar de haber sido entrenado solo con 109.000 millones de tokens, obtiene puntuaciones en pruebas de referencia comunes comparables a las del modelo Finch 14B recientemente publicado. Este modelo emplea un método eficiente de mezcla de expertos dispersos (MoE), activando solo una parte de los parámetros en cada token dado, lo que ahorra tiempo y reduce el consumo de recursos computacionales durante el entrenamiento y la inferencia. Si bien esta arquitectura implica un mayor uso de VRAM, desde nuestra perspectiva, la posibilidad de entrenar y ejecutar modelos de mayor capacidad a bajo coste merece la pena.