Tech News

Des chercheurs du MIT développent une IA qui identifie et isole les instruments sur les vidéos YouTube

En entraînant un système avec 60 heures de vidéos, des chercheurs du MIT ont créé une IA capable d’isoler des instruments sur une vidéo YouTube en analysant le son et les pixels.

S’il existe déjà d’autres techniques pour isoler un instrument sur une musique, l’IA développée par le Computer Science and Artificial Intelligence Laboratory du MIT est assez différente.

En effet, celle-ci est capable d’isoler des instruments de musique en n’analysant pas que la partie audio, mais également la partie vidéo.

Comme l’explique l’institut dans un billet, le système est « auto-supervisé », ce qui signifie qu’aucune annotation n’a été générée par des humains.

« Formé sur plus de 60 heures de vidéos, le système « PixelPlayer » permet de voir une performance musicale qu’il n’a jamais vue, d’identifier des instruments spécifiques au niveau du pixel et d’extraire les sons associés à ces instruments », explique le MIT.

Aucune annotation humaine, l’IA s’est entraînée avec le son et les images

D’ailleurs, les auteurs de cette découverte ne connaissent pas exactement la logique de ce système. D’après Hang Zhao, l’un de ces auteurs, le PixelPlayer établit des corrélations entre des fréquences harmoniques et des instruments visibles sur les vidéos.

« Nous avons été surpris de pouvoir localiser spatialement les instruments au niveau du pixel », raconte-t-il. « Être capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l’audio d’instruments individuels en un seul clic sur la vidéo ».

Avec seulement 60 heures de vidéos d’entraînement, PixelPlayer est capable de reconnaitre une vingtaine d’instruments. Mais avec plus de vidéos, cette IA pourrait être plus performante. Actuellement, le système ne fait par exemple pas la distinction entre des sous-catégories d’instruments.

Et pour le MIT, cette technologie pourrait avoir d’autres applications dans la robotique, comme une meilleure reconnaissance des « sons environnementaux que d’autres objets produisent, tels que des animaux ou des véhicules ».

(Source)

About the author

Cyriac

Je suis Zeh Cyriac , fondateur et chef de la direction de la société informatique DROP Corporation Inc. et blogueur indépendant aux États-Unis, avec une passion pour l'Entrepreneuriat en ligne, le marketing de contenu et toutes les choses qui tournent au tour du digital et ’informatique .

Add Comment

Click here to post a comment

Newsletter

Les dernières nouvelles du Web, de la high-tech et de l'innovation numérique tous les matins à l'heure du petit déjeuner.

Vous avez parfaitement souscrit ! Consultez vos mails pour confirmer l'inscription .