Liliya Tsirulnik: Dandole a las Computadoras (Una Voz Cantante)
San Diego, Calif., Aug. 15, 2012 — Cualquiera que ha sufrido la agobiante y difícil imitación en karaoke de la canción "Sweet Caroline" de Neil Diamond, apreciará mucho los trabajos de investigación de la Profesora Liliya Tsirulnik
Tsirulnik, académica visitante de la división University of California, San Diego (UCSD), del California Institute for Telecommunications and Information Technology (Calit2), está trabajando para mejorar el software de lo que se conoce como Singing Voice Synthesis -- Sintetizado de la Voz de Canto -- (SVS), el cual utiliza texto y notas musicales para sintetizar (idealmente a tono) la voz cantante.
Tsirulnik realiza su investigación en colaboración con el profesor de música Schlomo Dubnov del Computer Audition Laboratory de Calit2, el cual es dirigido por el profesor e ingeniero eléctrico y computación de UCSD, Prof. Gert Lanckriet.
Originalmente, Tsirulnik desarrolló un software experimental para sintésis de texto-a-voz para los lenguajes Ruso y Bieloruso (ella viene de la Academia de ciencias de Bielorusia), expandió el sistema para incluir nuevos algoritmos de sintetizado y cambiando el tono de los fonemas (sonidos basados en la voz) para crear un sonido natural de voces de canto.
"La sintésis de texto-a-voz no se adecua a la producción de canto, especialmente para cantores profesionales, las cuales son capaces de efectuar un muy amplio espectro de sonidos," dice Tsirulnik. "Era necesario desarrolar nuevas bases de datos de voces que consistan del rango entero de notas musciales que puede producir un/una cantante."
La base de datos de SVS, puede ahora producir sonidos tanto vocales como guturales de cantantes profesionales afiliados al Departamento de Música de UCSD, incluyendo los profesores Susan Narucki y Philip Larson, así como el estudiante de posgrado Bonnie Lander. Para capturar y grabar los sonidos guturales, los investigadores colocaron un microfóno muy cerca de la epiglotis del cantante y lo/la grababan mientras el/ell cantaba.
"Esto lo hacemos para ver que tipo de efectos especiales se producen en las dobleces vocales," explica Tsirulnik. "También hemos aumentado la base de datos del SVS con un conjunto de 'expresiones de canto', como 'natural', 'dulce', o 'profunda''. Esto nos permite ahondar las investigaciones y comparar características más profundas de la voz, como vibrato, amplitud, duración y otros parámetros de la voz, y ver como podriamos recrear sintéticamente estos efectos del sonido."
El software genera sonidos sintéticamente, seleccionando de una base de datos el fonema apropiado implementando un proceso prosódico para cambiar la frecuencia fundamental o entonación de la voz a grabar, así como la duración y amplitud del sonido, generando así una voz de canto que se oye real.
Eventualmente las bases de datos grabadas serán open-source, anotando también el fonema y nivel de tono para hacer más fácil encontrar notas específicas.
Tsurulnik añade: "Básicamente es una manera de crear un 'karaoke automático' o de música utilizando la base de datos y algoritmos. Eventualmente vamos a tener música generada por computadora que suena a música real más coros de voces humanas [simuladas]"
Así que ¿Algún día va a ser posible crear un personaje digital que también puede cantar sintéticamente? trabajos de investigación previos de Tsirulnik, además del enfoque actual en el SVS, sugieren que si puede ser este el caso.
"Otra dirección interesante de este trabajo, es la sintésis audiovisual -- esto es, maneras de crear un 'cabeza hablante' cuyos organos de articulación cambian en base a los fonemas que han sido almacenados," continua Tsirulnik. "Aunque para crear un avatar que verdaderamente cante sintéticamente, tenemos que incluir muchos más 'visemas', esto es, imágenes de articulaciones de los organos, ya que al cantar estos organos se mueven de varias maneras."
El software SVS, combinada con sintésis audiovisual, podría utilizarse eventualmente para entrenar a cantantes amateurs o - cuanto todo lo demas falle -- mejorar digitalmente la verdadera voz del cantante (lo ue son muy buenas nuevas para aquellos que insisten en cantar con karaoke "Night Train" de Guns N' Roses' los viernes en la noche en el bar).
by Tiffany Fox, tfox@ucsd.edu
Related Links