Des chercheurs de la faculté des sciences des données de l'université Musashino ont récemment développé un nouvel algorithme appelé AMT-APC, capable de générer automatiquement des morceaux de piano avec une plus grande précision. Cette technologie tire parti des avantages des modèles de transcription musicale automatique (AMT), en les affinant pour mieux capturer les détails et l'expressivité de la musique, afin de générer des versions de piano plus fidèles à l'œuvre originale.
La génération automatique de musique pour piano a longtemps été confrontée au défi de la fidélité sonore et du manque d'expressivité. Les modèles existants ne génèrent souvent que des mélodies et des rythmes simples, incapables de capturer les détails et les émotions riches de l'œuvre originale.
L'algorithme AMT-APC adopte une approche différente. Il utilise d'abord un modèle AMT pré-entraîné pour « capturer » précisément les différents sons de la musique, puis l'affine pour l'appliquer à la tâche de jeu automatique de piano (APC).
L'algorithme AMT-APC repose sur une stratégie en deux étapes :
Première étape : Pré-entraînement. Les chercheurs ont choisi un modèle AMT haute performance appelé hFT-Transformer comme base, et l'ont entraîné davantage à l'aide du jeu de données MAESTRO, lui permettant de traiter des fragments musicaux plus longs.
Deuxième étape : Ajustement fin. Les chercheurs ont créé un jeu de données apparié contenant des fichiers audio originaux et des fichiers MIDI de piano, et ont utilisé ce jeu de données pour affiner le modèle AMT, afin qu'il puisse générer des versions de piano plus fidèles au style de l'œuvre originale.
Pour rendre les morceaux de piano générés plus expressifs, les chercheurs ont également introduit le concept de « vecteur de style ». Le vecteur de style est un ensemble de caractéristiques extraites de chaque version de piano, notamment la distribution du taux de début des notes, la distribution de l'intensité et la distribution de la hauteur. En introduisant le vecteur de style et l'audio original dans le modèle, l'algorithme AMT-APC peut apprendre différents styles de jeu et les intégrer dans les morceaux de piano générés.
Les résultats expérimentaux montrent que, par rapport aux modèles de jeu automatique de piano existants, l'algorithme AMT-APC génère des morceaux de piano avec une amélioration significative de la fidélité sonore et de l'expressivité. En utilisant un indicateur appelé Qmax pour évaluer la similarité entre l'œuvre originale et l'audio généré, le modèle AMT-APC a obtenu la valeur Qmax la plus basse, ce qui signifie qu'il est capable de mieux restituer les caractéristiques de l'œuvre originale.
Cette recherche montre que l'AMT et l'APC sont des tâches étroitement liées, et que l'utilisation des résultats existants de la recherche sur l'AMT peut nous aider à développer des modèles APC plus avancés. À l'avenir, les chercheurs envisagent d'explorer davantage les modèles AMT plus adaptés aux applications APC, afin de réaliser un jeu automatique de piano plus réaliste et expressif.
Adresse du projet : https://misya11p.github.io/amt-apc/
Adresse de l'article : https://arxiv.org/pdf/2409.14086
