minbpe

Projet de code concis pour l'algorithme BPE, développé par Karpathy.

Produit OrdinaireProgrammationTransformerNLP

Ouvrir le site Web

Le projet minbpe vise à créer une implémentation de code propre et pédagogique de l'algorithme BPE, couramment utilisé dans les LLM. Ce projet fournit deux tokeniseurs et implémente les principales fonctionnalités de l'algorithme BPE, telles que l'entraînement, l'encodage et le décodage. Le code est concis et facile à lire, offrant aux utilisateurs une expérience pratique et efficace. Ce projet suscite un vif intérêt et devrait jouer un rôle important dans le développement des LLM et des techniques de traitement du langage naturel.

Product Finder

Product Submit

AI Models Finder

MCP Servers

MCP Client

MCP Inspector

Case Tutorials

Latest AI News

AI Daily Brief

minbpe

minbpe Dernière situation du trafic

minbpe Tendance des visites

minbpe Distribution géographique des visites

minbpe Sources de trafic

minbpe Alternatives

minbpe — Projet de code concis pour l'algorithme BPE, développé par Karpathy.

Tinq.ai - API NLP — Boîte à outils API NLP tout-en-un

Google Vision Transformer — Modèle de reconnaissance d'image basé sur le Transformer

Fine-Tuner IA — Outil d'optimisation des modèles NLP

Datasaur — Plateforme d'annotation de données NLP

GooseAI — IAaaS (Intelligence Artificielle en tant que service), API NLP hautes performances

Megatron-LM — Recherche continue sur les modèles Transformer entraînés à grande échelle

CoTracker — Modèle Transformer pour le suivi d'objets amélioré

ModernBERT-large — Modèle Transformer d'encodage bidirectionnel haute performance

ViTPose — Ensemble de modèles ViTPose basés sur l'architecture Transformer

Outil de Transparence des LLM — Analyse du fonctionnement interne des modèles linguistiques Transformer

Explicateur de Transformateurs — Outil de visualisation pour une compréhension approfondie du modèle Transformer

LUAR — Modèle d'apprentissage des représentations d'auteurs basé sur Transformer

Débogueur Transformer (TDB) — Le Débogueur Transformer est un outil développé par l'équipe Superalignment d'OpenAI pour étudier le comportement spécifique de petits modèles linguistiques.

EasyControl — Fournir un cadre de contrôle efficace et flexible pour Diffusion Transformer.

Jamba-1.5 — Modèle de base avancé à instructions suivant le principe de mélange SSM-Transformer

Qwen1.5-32B — Série de modèles linguistiques pré-entraînés basés sur l'architecture Transformer

MusiConGen — Modèle de génération de musique à partir de texte basé sur Transformer

Oasis — Modèle IA d'open world en temps réel basé sur Transformer

Infini-attention — Étend les modèles de langage Transformer pour traiter des entrées de longueur infinie.

NLTK — Boîte à outils de traitement du langage naturel (NLP) en Python

MiniGPT-5 — Modèle multimodal pour la génération d'images et de texte

Stable Diffusion XL — Application du modèle Stable Diffusion XL sur TPUv5e

Robot Chirurgical Transformer — Un robot capable d'exécuter des tâches chirurgicales grâce à l'apprentissage par imitation.

SwinIR — Outil de restauration de vieilles photos et d'agrandissement d'images sans perte

Vidura IA — Assistant IA intelligent

Tele-FLM-1T — Modèle linguistique large multilingue open-source de 1T

ChatRTX — Construisez des modèles linguistiques de grande taille (LLM) personnalisés pour améliorer les capacités de vos chatbots.

Langroid — Langroid est un framework LLM léger basé sur Python.

StarCoder2 — Modèle pré-entraîné de génération de code à grande échelle