DeepSeek-Coder-V2是一个开源的Mixture-of-Experts代码语言模型,性能可与GPT4-Turbo相媲美,在代码特定任务上表现突出。它通过额外的6万亿个token进一步预训练,增强了编码和数学推理能力,同时保持了在一般语言任务上的相似性能。与DeepSeek-Coder-33B相比,在代码相关任务、推理和一般能力方面都有显著进步。此外,它支持的编程语言从86种扩展到338种,上下文长度从16K扩展到128K。