Ces dernières années, les grands modèles de langage ont connu un développement fulgurant. BERT est devenu l'un des modèles les plus populaires et efficaces, mais sa complexité et son extensibilité posent problème. Pour résoudre ce problème, des algorithmes de compression tels que la distillation de connaissances, la quantification et la réduction ont été utilisés. La distillation de connaissances est la méthode principale, permettant de compresser le modèle en faisant imiter son comportement à un modèle plus petit.
DistilBERT apprend de BERT et met à jour ses poids grâce à trois composantes : la perte de masquage de langage, la perte de distillation et la perte de similarité. Il est plus petit, plus rapide et moins coûteux que BERT, tout en conservant des performances comparables. L'architecture de DistilBERT intègre des meilleures pratiques d'optimisation des performances, ouvrant ainsi la voie à son déploiement sur des appareils aux ressources limitées.
Grâce à la technique de distillation de connaissances, DistilBERT a permis de compresser significativement les grands modèles de langage tout en préservant leurs performances.
