karpathy/llm.c es un proyecto que implementa el entrenamiento de LLM usando C/CUDA de forma sencilla. Su objetivo es proporcionar una implementación de referencia limpia y simple, incluyendo también versiones optimizadas que se acercan al rendimiento de PyTorch, pero con un código y dependencias significativamente reducidos. Actualmente se está desarrollando una implementación directa en CUDA, la optimización de la versión para CPU usando instrucciones SIMD y el soporte para arquitecturas modernas como Llama2 y Gemma.