CodeFuse-CodeLlama-34B Quantizado

A Ant Group recentemente lançou uma versão quantizada de 4 bits do CodeFuse-CodeLlama-34B. Mesmo após a quantização, o modelo pode ser carregado em uma única A10 ou RTX4090.

Após a quantização, o modelo atingiu um desempenho de 73,8% no indicador Humaneval pass@1.

CodeFuse é um grande modelo de linguagem específico para geração de código, desenvolvido internamente pela Ant Group. Ele auxilia os desenvolvedores na geração automática de código, fornecendo sugestões inteligentes e suporte em tempo real, o que melhora a eficiência do desenvolvimento.