Récemment, l'équipe hi lab de Xiaohongshu a officiellement lancé son premier modèle de langue open source à grande échelle, appelé dots.llm1. Ce nouveau modèle a attiré une attention considérable dans l'industrie grâce à ses performances exceptionnelles et à la taille impressionnante de ses paramètres.
Dots.llm1 est un grand modèle de langue mixte experts (MoE) avec une incroyable quantité de 142 milliards de paramètres, dont 14 milliards d'activation. Après avoir été formé sur 11,2 TB de données de haute qualité, ce modèle peut rivaliser avec Qwen2.5-72B d'Alibaba. Cela signifie que dots.llm1 possède une précision et une fluidité extrêmement élevées dans la génération de texte et peut également supporter des tâches de traitement du langage naturel plus complexes.
Il est important de noter que le processus de pré-entraînement de ce modèle n'a pas utilisé de données synthétiques. Toutes les données proviennent de textes de haute qualité provenant de scénarios réels. Cela donne à dots.llm1 un avantage notable dans la compréhension de la finesse et de la naturalité du langage humain, permettant ainsi aux utilisateurs d'obtenir une expérience d'interaction plus réaliste.
L'initiative d'ouverture des sources de Xiaohongshu marque une nouvelle étape dans son expansion dans le domaine de l'intelligence artificielle, reflétant son ambition en matière d'innovation technologique. L'ouverture des sources non seulement augmente la participation et la contribution de la communauté, mais offre également davantage d'opportunités aux développeurs pour explorer et appliquer cet outil puissant.
En tant que plateforme axée sur le partage de contenu et les interactions sociales, Xiaohongshu s'efforce continuellement d'améliorer l'expérience utilisateur et les compétences techniques. En lançant dots.llm1, Xiaohongshu espère fournir des services plus intelligents aux utilisateurs tout en encourageant davantage de développeurs à participer à la recherche et à la pratique de l'intelligence artificielle.
À l'avenir, nous attendons avec impatience que dots.llm1 démontre son potentiel dans des domaines tels que la création de contenu, le service client intelligent et des systèmes de dialogue plus complexes. Xiaohongshu avance indéniablement de manière proactive pour promouvoir le développement de l'intelligence artificielle.