Recentemente, o Instituto de Automação da Academia Chinesa de Ciências em parceria com a MetaX Muxi, lançou com sucesso o primeiro modelo grande de pulsação cerebral no mundo, "Shunxi 1.0" (SpikingBrain-1.0), marcando um importante passo na área de tecnologia de modelos grandes na China. Essa inovação não apenas realizou a nacionalização integral do processo, mas também demonstrou uma melhoria significativa na eficiência em raciocínio de sequências muito longas.
O "Shunxi 1.0" se baseia em uma pesquisa aprofundada sobre o trabalho complexo dos neurônios cerebrais e propõe uma arquitetura de modelo grande baseada na "complexidade intrínseca". Esse modelo estabelece uma conexão entre a dinâmica intrínseca dos neurônios pulsantes e o modelo de atenção linear, apontando para um novo caminho no desenvolvimento de modelos grandes. O professor Li Guoqi disse que o lançamento desse resultado não apenas demonstra a capacidade de inovação da China na combinação de cálculo cerebral e modelos grandes, mas também fornece novas ideias para o futuro do cálculo neuromórfico e projeto de chips.
A equipe de pesquisa também abriu o modelo "Shunxi 1.0-7B" e disponibilizou o site de teste do "Shunxi 1.0-76B". Esses modelos foram amplamente validados pela indústria e têm potencial para aplicação eficiente em áreas como direito e medicina. Além disso, a equipe desenvolveu um framework eficiente para treinamento e inferência para os clusters de GPU Xiyun C550 da MetaX Muxi na China, tornando a aplicação de modelos grandes mais suave e eficiente.
Com o lançamento do "Shunxi 1.0", os avanços na tecnologia de modelos grandes na China aumentarão significativamente a eficiência de modelagem em cenários de sequências muito longas em vários setores, promovendo o desenvolvimento adicional das tecnologias relacionadas. No futuro, podemos esperar que essa tecnologia seja amplamente aplicada em múltiplas áreas, como direito, medicina e simulação científica, trazendo mais possibilidades de inovação.
