ReKep est un système d'inférence par contraintes de points clés spatio-temporels pour la manipulation robotique. Il encode le comportement souhaité du robot en représentant les tâches de manipulation comme des contraintes reliant le robot et son environnement. ReKep utilise des grands modèles visuels et des modèles vision-langage pour générer des contraintes basées sur des points clés, sans nécessiter d'entraînement spécifique à une tâche ou de modèle d'environnement. Ces contraintes peuvent être optimisées pour permettre des comportements multi-étapes, en extérieur, bi-manuels et réactifs. Les principaux avantages de ReKep sont sa généralité, l'absence de marquage manuel et la possibilité d'être optimisé en temps réel par des solveurs existants pour générer des actions robotiques.