Le Google Research a récemment publié l'architecture révolutionnaire de modèles "Titans", qui, grâce à une conception bio-inspirée, a permis d'atteindre une longueur de contexte révolutionnaire de 2 millions de jetons, et prévoit d'ouvrir prochainement le code source des technologies associées.
L'innovation principale de cette architecture réside dans l'introduction d'un module de mémoire à long terme neuronal profond, dont la conception s'inspire du système de mémoire humaine. Titans combine intelligemment la capacité de réponse rapide de la mémoire à court terme et la persistance de la mémoire à long terme, tout en utilisant un mécanisme d'attention pour traiter le contexte immédiat, formant ainsi un système de traitement de l'information efficace.
Selon Google, Titans présente des avantages significatifs dans les tâches de traitement de longues séquences. Que ce soit pour la modélisation linguistique ou la prédiction de séries temporelles, cette architecture a permis des progrès considérables. Plus remarquable encore, dans certains cas d'utilisation, Titans a même surpassé des modèles tels que GPT-4, qui possèdent des dizaines de fois plus de paramètres.
Avec l'engagement de Google à open-sourcer les technologies associées, l'arrivée de Titans pourrait ouvrir de nouvelles perspectives pour le traitement de longs textes dans le domaine de l'IA. Cette conception innovante, qui intègre les principes de l'intelligence biologique, montre la possibilité d'améliorer l'efficacité du traitement tout en réduisant le nombre de paramètres du modèle.