Le modèle Gemini 1.5 Pro, lancé par Google, porte la longueur du contexte à 10 millions de jetons, ce qui a suscité un débat au sein de l'industrie sur l'avenir de la technologie RAG (Retrieval Augmented Generation). Certains pensent qu'une entrée de texte longue pourrait remplacer le RAG, tandis que d'autres estiment que le RAG continuera à jouer un rôle important. L'avantage de Google en termes de puissance de calcul lui permet de prendre de l'avance sur les autres entreprises dans l'exploration de la longueur du contexte, ce qui pourrait avoir un impact sur certaines startups.