Este artigo investiga a fundo os custos de treinamento de grandes modelos de linguagem, abrangendo diversos aspectos como hardware, arquitetura do modelo, dinâmica de treinamento e métodos de otimização. O anúncio da OpenAI de que o custo inicial para construir um modelo chega a US$ 2 a 3 milhões gerou debates na indústria. O artigo aprofunda os custos de hardware, a estrutura do modelo e a dinâmica de treinamento, enfatizando que a otimização desses aspectos é crucial para reduzir os custos de treinamento.