Conceptos de Síntesis Digital Tecnología del Audio y de la Música • • • • Introducción histórica Conceptos Algunas técnicas § Wavetable § Modelo físico § Granular § Técnicas espectrales El Sampler • Conclusiones Master en Artes Digitales noviembre 2003 Sergi Jordà sergi.jorda@iua.upf.es http://www.iua.upf.es/~sergi http://www.tecn.upf.es/~sjorda Sintetizadores digitales : Inicios • Recapitulación: la síntesis digital se inventa en 1957, pero hasta mediados de los 70s ningún sistema funciona en tiempo real. • 1977: Se comercializa el Synclavier, el primer sintetizador digital comercial. Utiliza síntesis FM, incluye teclado, monitor de vídeo y un sistema operativo completo con secuenciador, editor, etc. Por su elevado precio (~30.000-50.000 $), pocos centros (y menos músicos independientes) pueden permitírselo § • • • • Sintetizadores digitales : Imágenes Fragmento de Sonic Waters ( Michel Redolfi, 1981), pieza subacuática para “oyentes bañistas” (se difunde en piscinas o en el mar, a través de altavoces especiales sumergidos) • • • 1979: Fairlight CMI (~25.000 $). Orientación más “comercial” que la del Synclavier. A nivel de prestaciones y calidad de sonido se puede comparar con un PC+Soundblaster+software de principios de los 90s! 1981: El Casio VL-Tone vale menos de 7.000 ptas! Con limitadas capacidades de síntesis, incorpora ritmos pregrabados y es capaz de secuenciar hasta 100 notas. Es un juguete pero algunos profesionales lo utilizan (fragmento de O Superman, de Laurie Anderson +, 1981) 1982: Se comercializa el Compact Disc, inventado en 1979 1983: Yamaha DX-7 (2.000 $) es el BOOM de los sintetizadores digitales. Utiliza síntesis FM. Aunque muy difícil de programar, produce interesant es sonidos de bajos, pianos eléctricos, metales, campanas…A partir de entonces todos los nuevos sintetizadores serán digitales… The Synthesiser picture archive Music Machines SYNTH & MIDI MUSEUM Síntesis Digital • Todas las técnicas que hemos visto pueden implementarse digitalmente(y se hace…), pero las posibilidades de lo digital van mucho más allá y son infinitas … • Se tratade utilizar algoritmos que generen números con un determinado criterio … • A grosso modo, s i (con los ajustes, parámetros adecuados, etc.)… § …llamamos a la función random() 44.100 veces/seg obtendremos ruido blanco § …si en s u lugar llamamos a la función sin() obtendremos una onda sinusoidal • Cualquier forma de obtener 44.100 números/seg generará algún tipo de sonido, pero para que éste no sea totalmente ruidoso deberá tener cierta coherencia-periodicidad • Si queremos que estos sonidos tengan una altura definida, o s i queremos además que estos sonidos evoquen a sonidos naturales o a otros sonidos existentes, los algoritmos ya no podrán ser de cualquier forma… • Otra restricción aparece con el control: Si queremos que estos sonidos se puedan modificar en tiempo real de una forma mínimamente intuitiva, los parámetros involucrados no podrán ser de cualquier tipo Synclavier II (izquierda arriba) Casio VL-Tone (arriba) Yamaha DX-7 (izquierda abajo) Algunos tipos de Síntesis digital • • • • Tabla de onda Modelo físico Granular Técnicas espectrales • El sampler 1 La síntesis por tabla de ondas y la emulación de instrumentos tradicionales Síntesis por tabla de ondas • • Posiblemente no sea el método más interesante, pero es uno de los más utilizados También es de los más obvios, y fue de hecho el primero que se implementó, por lo que comenzaremos por él • • • • • Un programa de ordenador se basa en 2 componentes fundamentales: § Los datos § Los algoritmos La síntesis por tabla de ondas pone todo el peso en lo primero: los datos • La idea es sencilla y puede entenderse como una ampliación de la síntesis substractiva ya estudiada: • § Mediante tecnología analógica es fácil obtener un número limitado de formas de onda sobre las que trabajar (sinusoidal, cuadrada, diente de sierra y triangular) § Mediante técnicas digitales se puede partir con igual facilidad de cualquier forma de onda. Cómo? Porqué? Síntesis por modelo físico • • Dado que las tablas de onda pueden ser sínteticas, pero también proceder de sonidos reales, la síntesis por tabla de ondas se utiliza frecuentemente para emular instrumentos tradicionales Dado que muy pocos instrumentos acústicos tienen un sonido constante (e.g. el órgano), para ofrecer unos resultados mínimamente convincentes, la síntesis por tabla de ondas debe combinarse con una buena programación de envolventes (ataque, sustain,…) osciladores de baja frecuencia (vibratos, tremolos y filtros) y un conjunto flexible de filtros è La síntesis por tabla de ondas es una forma ampliada de síntesis sustractiva Muchos instrumentos tienen un ataque muy diferente del resto del sonido (normalmentemás ruidoso) Para lograr mayor realismo, una de las técnicas utilizadas por la síntesis por tablas de onda es la de utilizar fragmentos diferentes en el ataque Cuando la cantidad de memoria aumenta, pasamos de la síntesis por tabla de ondas al sampler, que veremos más adelante. Antes comentaremos otros tipos de síntesis típicamente digital Síntesis Granular • Si la síntesis aditiva parte de la idea de superponer ondas sencillas, la síntesis granular superpone granos sonoros (en gran número) Un grano sonoro es un fragmento sonoro de muy corta duración (entre 5 y 100 ms) A estos “granos se les aplica envolventes suaves para evitar “clicks” Es una técnica “puntillística” y dado el gran número de granos que se maneja, se hace de forma estadística • • La idea es modelar el instrumentoen lugar de modelar el sonido Si se consiguen introducir todas las ecuaciones físicas que rigen la acústica de un instrumento real (guitarra, saxo, trompeta…) el ordenador será capaz de realizar una simulación del sonido de este instrumento • • Darmouth 4.9 • • Principales problemas § La física de estos instrumentos es muy complicada, § a la hora de escribir-definir las ecuaciones (complejidad para los humanos) § y a la hora de calcularlas una vez definidas (complejidad para la máquina è pocas voces a tiempo real) • Granular synthesis is often used to create what can be thought of as "sound clouds" — shifting regions of sound energy that seem to move around a sonic space. A number of composers (like Iannis Xenakis and Barry Truax) thought of granular synthesis as a way of shaping large masses of sound by using granulation techniques. These two composers are both considered as pioneers of this technique (Truax wrote some of the first special purpose software for granular synthesis). Sometimes, cloud terminology is even used to talk about ways of arranging grains into different sorts of configurations (Darmouth 4.8) • Una pieza granular de Curtis Roads, ganadora en Ars Electronic 2002 • Principales ventajas § Sonidos realistas § Fácil e intuitivo crear nuevos instrumentos imposibles (e.g. trombón de 10 metros con boquilla de saxo…) § De un control interactivo MUY intuitivo (en lugar de controlar parámetros sonoros como frecuencia de corte, etc. se controlan parámetros instrumentales como presión sobre la caña, etc. • Investigaciones en sonidos no-musicales (The Sounding Object ) § Sonidos-caricatura (pisadas, estornudos, etc…) Granular (2) : Deconstrucción temporal • • • • • Técnicas Espectrales • La síntesis granular es una técnica bastante experimental, que no permite tener un control sonoro absoluto y con la que es difícil obtener cambios muy abruptos y rítmos m u y marcados No hay sintetizadores comerciales que la implementen • Puede aplicarse: § Con material de partida (i.e. los granos) aleatorio § Sobre un (o unos) fichero(s ) o fragmento(s ) determinado(s ) § En vivo sobre la entrada del ordenador Bajo esta denominación podemos incluir todas las técnicas que trabajan en el dominio espectral en lugar de hacerlo en el dominio temporal Normalmente no son exactamente técnicas de síntesis, sinó de lo que se denomina analísis/resíntesis, ya que parten de sonidos ya existentes, para generar otros que guarden ciertas características de los anteriores • Parten de la aplicación directa del Teorema de Fourier: Un enfoque algo parecido, menos sutil y con resultados más radicales es el que ofrecen varios nuevos programas, de deconstruir temporalmente el sonido (ya sea a través de la entrada en vivo o de un fichero )… Drum&bass radical § Software de Akira Rabelais (Mac Only) § Ejemplo sonoro § Una pieza de deconstructivismo radical de Yasunao Tone (audio CD manipulado en vivo), también ganadora en Ars Electronica 2002. § Se calcula con la máxima precisión posible, el espectro de un sonido, música o fragmento, y se guarda (esta información ocupa más que el sonido original) § Si no realizasemos ninguna modificación de este espectro, podríamos obtener de nuevo el sonido inicial , sin ninguna perdida de calidad, simplemente invirtiendo el proceso matemático § En cambio, si modificamos este espectro de varias formas y después realizamos el proceso inverso, obtendremos nuevos sonidos 2 Sería algo equivalente a modificar gráficamente un espectro y después realizar el proceso inverso (aunque para que este proceso fuera reversible, i.e. sin perdida), el tamaño (en pixels) de esta imagen sería muyalto Posibilidades de las técnicas espectrales • Estas técnicas ofrecen posibilidades imposibles de conseguir en el dominio temporal • Por ejemplo: § alargar/acortar un sonido sin modificar su altura § Modificar la alturade un sonido sin modificar su duración § Simular que un sonido suene en un espaciodeterminado (convolución) § Hibridar (morph) varios sonidos entre sí • Llach- mar y La granja: 3 cosas hay en la vida (1992) § Separar sonidos diferentes que suenan simultáneos § …… Síntesis aditiva con técnicas espectrales Otras formas de Síntesis Analísis/resíntesis (~aditiva controlada por ordenador…) Estas nuevas técnicas pueden entenderse también desde el enfoque de la síntesis aditiva: • Se da la aparente paradoja de que la síntesis aditiva, el primero método en utilizarse en toda la historia de la síntesis musical, decayó con la irrupción de los sintetizadores analógicos, para resurgir con nueva fuerza con la aparición de los actuales ordenadores más potentes. El motivo de este "retorno" se debe a que ahora es posible ejercer un cont rol automatizado, basado en el análisis de Fourier, sobre este gran número de parámetros. Esta técnica de control automatizado denominada a veces como de análisis y resíntesis, permite sintetizar sonidos, tan similares como se desee a otros ya existentes, a partir de un minucioso análisis de Fourier realizado de estos últimos. El proceso es aproximadamente el siguiente: • Mediante un análisis de Fourier (similar al que ofrece la herram ienta Spectral Analysis de Sound Forge, pero realizado de una forma más sistemática), se estudia la evolución del espectro de cualquier sonido en el tiempo (es decir, la amplitud de cada arm ónico en varios instantes del tiempo) típicamente sobre unas 100 veces/segundo. • Con esta información temporal se obtiene la envolvente (evolución de la amplitud en el tiempo) de cada uno de estos armónicos. • A partir de la información contenida en este espectro dinámico, se sintetiza un nuevo sonido, sumando en cada instante todos los armónicos con sus respectivas amplitudes. El resultado es un sonido prácticamente idéntico al original, circunstancia que a priori puede parecer que no presenta ninguna utilidad. Ahora bien, alterando cualquiera de estos parámetros podremos obtener infinitas variaciones del sonido original. • Realizar minuciosamente este proceso de forma manual resultaría imposible. Hoy puede automatizarse con la ayuda de programas que realizan directament e todos estos pasos y que a continuación permiten modificar cualquiera de estas amplitudes de forma interactiva. • Waveshaping § Un tipo muy flexible y variado de modulación digital (y = f(x )) donde x es una onda o sonido que se transforma a través de una función de transferencia f. Los tipos de resultados obtenidos varían totalmente en función de f § Applet de ejemplo • • • • Varias técnicas de síntesis de voz… Métodos gráficos Autómatas celulares, fractales… …. • Hoy en día, es posible cualquier combinación de métodos, métodos híbridos, métodos en serie, combinación de síntesis y de procesado, de síntesis y de analísis… Existen cientos de herramientas (programas) para cualquiera de ellos, y la posibilidad de crear más utilizando lenguajes o entornos de programación sencillos (gráficos) especialmente orientados a la síntesis y al procesado de sonido • El Sampler : Inicios El Sampler • Ateniéndonos a la definición de síntesis (y sintetizador) el sampler NO es un sintetizador... § Pero dada su importancia histórica y su ubicuidad actual… § Dado que todas las técnicas digitales actuales son híbridas e incluyen a menudo samplers o conceptos similares … • … es obligatorio tratarlo a fondo • La síntesis por tabla de ondas, parte del supuesto de que el espacio de almacenamiento es escaso (se guarda un sólo ciclo, o un ciclo y el ataque, etc…) Conforme este espacio aumenta podemos tener el sampler, que nos permitirá guardar un sonido “entero”… • • El Mellotron (1965), es el antecedente analógico, con un loop de cinta y un cabezal de reproducción en cada tecla! èpoco práctico, poco programable • La introducción y penetración del sampler digital durante los 80s puede entenderse desde el punto de vista de la economía: § § § § § § § • El “típico” sonido de Mellotron King Crimsom: sendos inicios de In The Court of the Crimson King y Epitaph (from In the Court of the Crimsom King, 1969) 1979: Fairlight CMI, primer sampler comercial (~25.000 $) 1981: Emulator I (~10.000 $) 1984: Ensoniq Mirage (~1.700 $) 1985: Commodore Amiga (ordenador completo con posibilidades de sampler por <1.000 $) 1987: Akai S-950, S-1000… ~2000: Tarjeta compatible SoundBlaster (20 $) Todos estos sistemas poseen características muy limitadas para los standards de hoy: 8 bits, poca memoria (~512 Kb èpocos segundos de sonido), no HD (sí diskettes)… Aún así suponen una revolución en la práctica músical è § § Simplificar el enfoque de la música concreta ( HipHop, etc) Convertir cualquier sonido en un sonido “musical” (i.e. con el que se pueden interpretar melodías, como la de este “perro” de 1979) § Red House (from The Catherine Wheel, David Byrne 1981): uno de los primeros “solos” de sampler? O Superman (from Big Science, Laurie Anderson 1981): vocoder, sampler y melodía de Casiotone! § 3 Mellotron y Fairlight • Mellotron Un Fairlight y una de sus ventanas de edición El mellotron: cerrado (arriba) y en fase de “programación” (abajo) El Sampler : Demos (pasos) • • • • Grabar sonido percusivo y extenderlo a todo el teclado (e.g. pianito) Configurar un sonido sostenido con loop (e.g. grillos) Configurar un sonido sostenido musical con loop parcial (e.g. flauta) Configurar un loop rítmico • Conceptos § Loop § Nota base § Multisampling (demo GrandPiano, cajade ritmo…) § Más envolventes , filtros, osciladores , etc… Hardware vs. software El Sampler : Historia y tecnología • Primeros modelos hardware con RAM (256 K è serían 3 segundos de audio a 44.100 y 16 bits, aunque la calidad sonora era menor -8 bits y menor frecuencia- por lo que cabía más…) § § § § 1979: Fairlight CMI, primer sampler comercial (~25.000 $) 1981: Emulator I (~10.000 $) 1984: Ensoniq Mirage (~1.700 $) 1985: Commodore Amiga (ordenador completo con posibilidades de sampler por <1.000 $) § 1987: Akai S-950, S-1000… § ………………………………. • • • • ~1994: Tarjetas audio con RAM propia (e.g. Soundblaster AWE32) ~1998: Tarjetas audio con RAM del sistema (e.g. Soundblaster Live Software con RAM del sistema Software acceso directo a disco duro (o RAM+HD, e.g. Halion) • Hoy (2003) siguen existiendo samplers hardware (~1000 € ) aunque su uso se limita prácticamente al directo • Volviendo a los sintetizadores digitales en un sentido más amplio, también podemos dividirlos en dos grandes grupos: los sintetizadores por hardware y los sintetizadores por software, aunque conceptualmente ambos grupos se basen en los mismos principios • Los sintetizadores digitales por hardware son en realidad ordenadores "disfrazados" (con su CPU, su memoria, su sistema operativo, etc.) que incorporan potentes chips especializados en procesar sonido (DSP), capaces de realizar decenas de millones de instrucciones por segundo. Suelen incorporar un teclado musical y varios controles, botones, deslizadores, etc. (aunque ninguno es estrictamente obligatorio) • Los sintetizadores por software son programas que aprovechan la tarjeta de sonido del ordenador. Hasta hace poco, estos programas (denominados también a veces sintetizadores virtuales ) difícilmente podían producir sonido a tiempo real, pero con la creciente potencia de los procesadores actuales, existen muchos sintetizadores virtuales que rivalizan con cualquier dispositivo hardware profesional Síntesis por Software (inconvenientes) Síntesis por Software (ventajas) + Flexibilidad, + experimentación, personalización, + economía… • Existen muy variados métodos y algoritmos para la síntesis digit al, y la mayoría de los dispositivos hardware sólo incorpora uno de ellos • La síntesis por software permite implementar cualquier método o algoritmo, que funcionará en cualquier ordenador independientemente de la tarjeta de sonido que posea, siempre que el procesador disponga de la potencia suficie nte • Muchos programas shareware o incluso freeware ofrecen posibilidades de síntesis innovadoras, experimentales, que ningún fabricante se ha decidido a implementar todavía. Esto abre de repente un universo de posibilidades casi infinito • Muchos de estos programas pueden encadenarse (las salidas de uno pasan a ser las entradas del siguiente) con lo que se consiguen arquitecturas de una complejidad inalcanzable en un sintetizador hardware • Existen lenguajes y entornos de programación especialmente enfoc adas a la síntesis que nos permiten crear nuestros propios sintetizadores sin ningún límite (CSound, PD, MAX, Supercollider, Reaktor…) • La flexibilidad de todos estos programas ha roto la barrera entre síntesis y procesado, que y a puede realizarse también en t.real - fiabilidad, - potencia, + latencia, + ruido… • Los ordenadores se "cuelgan" más que los aparatos dedicados. Por lo tanto, los conciertos en directo revestirán de una mayor dosis de "emoción“ • Los programas de síntesis consumen normalmente bastante potencia, por lo que impiden correr demasiadas aplicaciones musicales a la vez • Esta falta de potencia, hace que la latencia (tiempo transcurrido entre una orden del instrumentista y su consecución sonora) sea mayor, y en algunos casos, pueda llegar a resultar molesta para un teclista (~ decenas de m s) • La calidad final del sonido (ruido de fondo, etc.) dependerá de los componentes de la tarjeta de sonido instalada en el ordenador. Esta calidad (salvo en el caso de tarjetas profesionales) suele ser bastante inferior a la de los component es utilizados en los sintetizadores dedicados • Aunque se encuentran ya tarjetas profesionales (o semi ) a partir de los 200€ § USB o Firewire para portatiles § Poco ruido de fondo (24 bits) § Menor latencia (<10 m s) 4 Síntesis por software : Links • Audiomulch http://www.audiomulch.com • Virtual Synth Page http://www.markwhite.com/vsp/ • Synthzone http://www.synthzone.com/softsyn.htm Material Complementario • José Manuel Berenguer, Marc Dalmases y Sergi Jordà § Técnicas de edición y procesado digital del audio § Síntesis digital de sonido Material didáctico para los cursos de Graduado Multimedia a distancia (Universitat Obertade Catalunya – UPC Fundació Politécnica de Catalunya) • Music & Computers, An interactive web-text by Phil Burk, Larry Polansky, douglas repetto, Mary Roberts and Dan Rockmore § Index § Chap 4. The Synthesis of Sound by Computer § • También muy recomendables los capítulos 1 y 2 que tratan dos temas ya vistos anteriormente • 1. The Digital Representation of Sound, Part One: Sound and Timbre (introducción al sonido en general) • 2. The Digital Representation of Sound, Part Two: Playing by the Numbers (introducción al audio digital) NB. Para poder ejecutar los plug-ins de Music & Computers, se debe bajar el applet de Jsyn 5