SmolLM2 é uma série de modelos de linguagem leves, com versões de 135M, 360M e 1,7B de parâmetros. Esses modelos conseguem resolver uma ampla gama de tarefas mantendo-se leves, sendo especialmente adequados para execução em dispositivos. A versão de 1,7B do modelo apresenta progressos significativos em relação ao seu antecessor, SmolLM1-1.7B, em obediência a instruções, conhecimento, raciocínio e matemática. Ele foi treinado usando diversos conjuntos de dados, incluindo FineWeb-Edu, DCLM e The Stack, e otimizado por meio de otimização direta de preferência (DPO) usando UltraFeedback. O modelo também suporta tarefas como reescrita de texto, resumos e chamadas de funções.