Nvidia AI推ChatQA2:基於Llama3模型,長文本理解和RAG能力媲美GPT-4
Nvidia AI推出的ChatQA2模型,針對人工智能發展中長文本上下文理解和檢索增強生成的關鍵挑戰,基於Llama3模型進行優化。通過將上下文窗口擴展至128K tokens並採用三階段指令調整過程,模型顯著提升了指令遵循能力、RAG性能和長文本理解能力。在InfiniteBench評估中,ChatQA2展現出與GPT-4-Turbo-2024-0409相媲美的準確性,並在RAG基準測試中超越之,解決了長文本處理中的上下文碎片化和低召回率問題。該模型通過使用先進檢索器提高檢索準確性和效率,實現了與GPT-4-Turbo相當的性能,爲各種下游任務提供了靈活解決方案。