Cómo separar instrumentos en una canción con inteligencia artificial
Un experimento gratuito, que funciona directamente en el navegador.
Pueden generar imágenes, pueden escribir código, pueden crear transcripciones. La inteligencia artificial está atacando múltiples frentes a la vez, pero su garantía de éxito aún se encuentra muy lejos. Uno de los terrenos más complejos es el de la música: Previamente hemos explorado iniciativas como MusicLM, SongR AI (con voz y letra), y TextToSample, ¿pero qué tan bueno es el algoritmo a la hora de separar instrumentos? El proyecto free-music-demixer quiere averiguarlo con una plataforma automática, gratuita, y offline.
Separar las fuentes de una canción no es algo nuevo que digamos. De hecho, eliminar la voz para crear una versión karaoke es uno de los ejemplos más comunes de separación, pero Android y YouTube han eliminado una parte del trabajo pesado. Sin embargo, no deja de ser un buen ejercicio para los nuevos algoritmos. Con eso en mente llegamos a free-music-demixer, una plataforma de separación de fuentes basada en Open-Unmix, y el modelo pre-entrenado UMX-L.
Cómo separar las fuentes de una canción con free-music-demixer
Debemos descargar el modelo antes de comenzar
El demixer funciona de forma local en el navegador, y la única descarga que requiere es la del modelo, con un tamaño promedio de 45 megabytes (no he visto ningún indicador de progreso, por lo tanto, hay que esperar a que el sitio reporte su finalización). El resto es cuestión de seleccionar la canción a procesar, y hacer clic en el botón «Load audio and demix».
En pocos minutos, free-music-demixer presentará cinco archivos de audio con sus resultados: Bass, Drums, Vocals, Other y Karaoke. De más está decirlo, los resultados dependen de múltiples factores, que van desde la calidad original de la canción hasta el género, pasando por el tempo y el tipo de instrumentos presentes. Mis pruebas fueron limitadas, pero puedo decir que hizo un trabajo más o menos decente al aislar la batería y generar la versión karaoke.
Todos los resultados se guardan localmente
Para finalizar, el sitio incluye una demo (en caso de que no sea posible ejecutar el modelo por algún motivo), y un modo especial que separa fuentes por lotes, procesando más de una canción a la vez. Su desarrollador también advierte que free-music-demixer coloca un poco de presión extra sobre el CPU y la memoria RAM, y que la licencia de UMX-L sólo permite un uso sin fines comerciales. ¡Enlace más abajo!
Sitio oficial: Haz clic aquí
