Mamba-2 ist ein neuartiges Sequenzmodell, entwickelt von Goomba AI Lab, das darauf abzielt, die Effizienz und Leistung von Sequenzmodellen in der Machine-Learning-Community zu verbessern. Durch das strukturierte Zustandsraum-Dualitätsmodell (SSD), welches die Vorteile von Zustandsraummodellen (SSM) und Aufmerksamkeitsmechanismen kombiniert, bietet es einen effizienteren Trainingsprozess und höhere Zustandsdimensionen. Das Design von Mamba-2 ermöglicht die Nutzung von Matrixmultiplikationen während des Trainings, was die Hardware-Effizienz steigert. Darüber hinaus zeigt Mamba-2 in Aufgaben wie der Multi-Query-assoziativen Erinnerung (MQAR) hervorragende Ergebnisse und demonstriert sein Potenzial für komplexe Sequenzverarbeitungsaufgaben.