MobileLLM é um modelo de linguagem pequeno otimizado para dispositivos móveis, focado no design de LLMs de alta qualidade com menos de um bilhão de parâmetros, para viabilizar a implantação móvel. Diferentemente da crença comum, esta pesquisa destaca a importância da arquitetura do modelo em LLMs pequenos. Por meio de uma arquitetura profunda e fina, combinada com mecanismos de compartilhamento de embeddings e atenção de consulta agrupada, o MobileLLM obteve melhorias significativas na precisão e propõe um método de compartilhamento de pesos em blocos que não aumenta o tamanho do modelo e apresenta baixa sobrecarga de latência. Além disso, a família de modelos MobileLLM demonstra melhorias significativas em relação a modelos pequenos anteriores em benchmarks de bate-papo e se aproxima da precisão do LLaMA-v2 7B em tarefas de chamadas de API, destacando a capacidade de modelos pequenos em casos de uso de dispositivos comuns.