A equipe do modelo de grande escala da AntBaiLing anunciou recentemente o lançamento oficial do seu novo modelo de pensamento de alto desempenho - Ring-flash-2.0. Este modelo foi profundamente otimizado com base no Ling-flash-2.0-base, marcando uma importante evolução na área de inteligência artificial. O total de parâmetros do Ring-flash-2.0 atinge 10 bilhões, mas apenas 610 milhões são ativados a cada inferência, esta eficiente mecanismo de ativação fornece ao modelo uma potente capacidade computacional, ao mesmo tempo economizando grandes recursos.
De acordo com a apresentação da equipe, o Ring-flash-2.0 se destacou em vários testes de benchmark de alta dificuldade, incluindo competições matemáticas, geração de código e raciocínio lógico. Sua performance não apenas supera modelos de 4 bilhões de parâmetros da mesma categoria, mas também pode rivalizar com modelos abertos de maior escala (MoE) e alguns APIs de modelos de pensamento de alto desempenho fechados, demonstrando sua notável competitividade.
Para melhorar significativamente as capacidades do modelo Ring-flash-2.0, a equipe AntBaiLing projetou um processo inovador de treinamento de aprendizado por reforço (RL) em duas etapas. Primeiro, usando Long-CoT (pensamento em cadeia de longa sequência) SFT (fine-tuning supervisionado) leve, o modelo Ling-flash-2.0-base é capaz de dominar diversos métodos de pensamento. Em seguida, utiliza o treinamento RLVR (recompensa verificável), que estimula continuamente o potencial de raciocínio do modelo. Por fim, adiciona uma fase de feedback humano para o aprendizado por reforço (RLHF), para aumentar as capacidades gerais do modelo.
Destaca-se que os pesos do modelo Ring-flash-2.0, o plano de treinamento de aprendizado por reforço e a receita de dados estarão totalmente disponíveis como código aberto, fornecendo recursos valiosos para desenvolvedores e pesquisadores. Os interessados podem obter informações relacionadas no Hugging Face e ModelScope e começar a explorar este poderoso modelo.
Com o constante avanço da tecnologia de IA, o Ring-flash-2.0 certamente abre novas possibilidades para aplicações inteligentes no futuro. Espera-se que ele seja amplamente aplicado em diversos campos e alcance ainda maiores conquistas!
Endereço do modelo:
https://huggingface.co/inclusionAI/Ring-flash-2.0
https://modelscope.cn/models/inclusionAI/Ring-flash-2.0
