Nvidia AI推ChatQA2:基于Llama3模型,长文本理解和RAG能力媲美GPT-4
Nvidia AI推出的ChatQA2模型,针对人工智能发展中长文本上下文理解和检索增强生成的关键挑战,基于Llama3模型进行优化。通过将上下文窗口扩展至128K tokens并采用三阶段指令调整过程,模型显著提升了指令遵循能力、RAG性能和长文本理解能力。在InfiniteBench评估中,ChatQA2展现出与GPT-4-Turbo-2024-0409相媲美的准确性,并在RAG基准测试中超越之,解决了长文本处理中的上下文碎片化和低召回率问题。该模型通过使用先进检索器提高检索准确性和效率,实现了与GPT-4-Turbo相当的性能,为各种下游任务提供了灵活解决方案。