Des chercheurs présentent V2N pour la transcription visuelle du piano
Le système Video to Notes vise à prédire, à partir d’une vidéo de piano, l’attaque, le relâchement, le maintien des touches et la vélocité.
Pourquoi c'est important
Ce travail étend la transcription musicale visuelle au-delà de la seule détection des attaques, en traitant les signaux physiques de relâchement des touches et de vélocité, que les systèmes fondés sur l’audio peuvent masquer lorsque la pédale de sustain est utilisée. Il ouvre la voie à des systèmes de transcription multimodale plus riches pour l’IA musicale et l’analyse de la performance.
Points clés
- 1.V2N prédit l’attaque, le relâchement, le maintien des touches et la vélocité à partir d’une vidéo de piano.
- 2.L’entraînement multi-tâche image par image a amélioré la précision des attaques et permis de produire de nouvelles sorties.
- 3.Le système annonce des résultats de pointe sur PianoVAM et R3.
Un nouvel article présente V2N, décrit comme le premier système complet de transcription visuelle du piano. Le modèle s’appuie sur une colonne vertébrale temporelle partagée, complétée par des têtes spécialisées pour l’attaque, le relâchement, le maintien des touches et la vélocité, et entraînée avec une supervision image par image. Les auteurs indiquent que la supervision multi-tâche améliore la précision de détection des attaques tout en permettant de prédire le relâchement et la vélocité, et qu’un contexte temporel plus long améliore encore les résultats. V2N établit de nouveaux résultats de pointe sur PianoVAM et R3.
⚡ À tester aujourd'hui
Lisez l’article sur V2N avant de concevoir des systèmes de transcription du piano qui doivent estimer, à partir de la vidéo, le relâchement physique des touches ou la vélocité.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Google teste AMIE pour des consultations médicales vidéo en temps réel
Ce système de recherche fondé sur Gemini a été évalué dans des consultations de télésanté simulées.
Un modèle d’Anthropic fait avancer les travaux sur l’hypothèse de Riemann
Un modèle inédit d’Anthropic a permis des progrès sur ce problème mathématique non résolu de longue date, rapporte TechCrunch.
IBM détaille ALTK-Evolve, une méthode de mémoire pour agents
Le système récupère des consignes propres à chaque tâche afin de réduire les tokens d’inférence par rapport à ACE.