Audio Expresivo e Inteligencia Artificial: SaxEx y JIG Diego Arias Morán Universidad Carlos III de Madrid NIA 100077460 diego.arias@alumnos.uc3m.es SUMARIO SaxEx es un sistema basado en casos diseñado para generar interpretaciones expresivas de melodías basándose en ejemplos de interpretaciones humanas. La resolución mediante CBR es apropiada ya que se pueden conseguir múltiples casos resueltos o precedentes, es decir, grabaciones de interpretaciones humanas. JIG (Jazz Improvistaion Generator) es un sistema capaz de crear improvisaciones ’formulaicas’ monofónicas en clave de jazz usando restricciones en combinación con aleatoriedad para generar los atributos de nota. Palabras clave inteligencia artificial, CBR, case based reasoning, audio, SMS, spectral modelling synthesis, creatividad, expresividad, jazz, SaxEx 1. INTRODUCCIÓN 1.1. La creatividad artificial también puede ser La creatividad es un potencial que se puede entrenar, desarrollar y evolucionar. No se enseña, sino que se desbloquea. Básicamente, la creación artificial – como la natural – se compone de dos procesos computacionales: uno “generador” y otro “evaluador”. Varias técnicas de Inteligencia Artificial ya han demostrado que es factible modelizar actividades creativas en muchos campos: artes (música, literatura), ciencias (física, matemática), tecnologías (ingeniería, arquitectura), juegos (ajedrez, damas), etc. 1.1.1. Creatividad humana Aunque no existe una definición única, se podría decir que la creatividad es la capacidad de unir, asociar, conectar, integrar o combinar diferentes ideas ya existentes – y previamente no relacionadas – de manera no habitual, inesperada, sorpresiva, impredecible e innovadora, a fin de producir nuevas ideas más complejas y potentes adaptadas a los nuevos propósitos. No obstante, es preciso que sean útiles, pertinentes, razonables y/o viables; es decir, se deben descartar todas aquellas ideas descabelladas, inalcanzables o absurdas. De allí que la creatividad es un concepto parcialmente subjetivo y relativo a un contexto sociocultural: lo que en una cultura puede ser valioso, útil o beneficioso en otra puede no serlo. En el caso del ser humano, la creatividad no es algo exclusivo de algunas personas sino que es inherente a toda la especie. Aunque, conviene aclarar, no todos son igualmente creativos: algunos lo son mucho más que otros e incluso unos pocos son extraordinarios. La creatividad no se enseña sino que se desbloquea. Si el entorno local (físico y sociocultural) es capaz de estimular, motivar o alentar, entonces la creatividad florece. 1.1.2. Creatividad, inteligencia e imaginación La creatividad no necesariamente va aparejada con la inteligencia (se puede ser mucho más creativo que inteligente y viceversa), pero depende de ella. También está relacionada con la imaginación: crear es poner de manifiesto aquello que se imagina. Por último, depende también del conocimiento y de la experiencia, aunque si bien es muy útil contar con un bagaje mínimo, el exceso de conocimientos y de experiencias puede restringir la creatividad. Aparentemente para ser creativo son condiciones esenciales la motivación y la colaboración entre las personas; mientras que son aspectos importantes o necesarios el aprendizaje y la interacción con el entorno (físico y social) [1]. En términos generales, las personas creativas no sólo dependen del proceso cognitivo sino que también dan importancia a aspectos afectivos de su personalidad para la solución de los problemas que se les presenta. 1.1.3. El proceso creativo El proceso creativo consta, básicamente, de dos etapas: una generadora y otra evaluadora, que se descomponen, a su vez, en cuatro “momentos” distintos (dos conscientes, separados por dos inconscientes): – Preparación: se selecciona y recolecta la mayor cantidad de información posible y viable sobre el problema en cuestión, incluyendo lecturas, indagaciones, averiguaciones, consultas, etc. – Incubación: se deja “decantar” el tema. Se trata de un período de aparente inactividad, pero se produce un procesamiento subconsciente de la información recolectada. – Iluminación: se produce el “relámpago creativo”, la inspiración propiamente dicha, el momento en que “caen todas las fichas”. La solución surge abrupta y repentinamente en la mente – Verificación: es el trabajo de evaluación –racional y metódica– a fin de determinar la validez objetiva y/o práctica de la solución obtenida en la etapa de iluminación. De este modo, la preparación y la incubación corresponden a la etapa generadora y la iluminación y la verificación a la evaluadora, respectivamente. Otros autores agregan otros dos “momentos” más (al inicio y al final del proceso) – Cuestionamiento: se percibe algo como problema y se inicia una reflexión profunda a fin de delimitarlo con claridad – Comunicación: es la tarea de dar a conocer lo nuevo, de hacer una adecuada difusión de lo creado. 1.1.4. Las características Las características más comúnmente aceptadas de la creatividad, en la gran mayoría de las personas, son: – Fluidez: es la facilidad para generar un elevado número de ideas. Obviamente cuanto mayor es su número, más probable resulta encontrar una alternativa o solución útil y beneficiosa. – Flexibilidad: es la habilidad para modificar, transformar, replantear o reinterpretar –de muy diversas formas– ideas, explorando líneas diferentes. – Originalidad: es lo que define a la idea como algo único, nuevo, inusual, novedoso, diferente o inédito. Significa apartarse de lo obvio, de lo habitual, romper la rutina, dar un salto desde lo conocido. – Elaboración: es el nivel de detalle, desarrollo o complejidad de las ideas creativas. 1.2. Creación artificial Básicamente, la creación artificial –como la natural– se compone de dos procesos computacionales: uno “generador” y otro “evaluador”. En cuanto al primer proceso, es fácil para la máquina generar muchas de las soluciones posibles a un determinado problema. Es así que, en muchas ocasiones y dado que funciona a toda hora (y durante días), encuentra resultados inesperados, soluciones originales, que el ser humano posiblemente habría pasado por alto. Lo que ocurre es que sólo es capaz de combinar “ideas” previamente conocidas, no puede realizar asociaciones inéditas, transgredir, “traspasar los límites” o “romper las reglas” como hacen los grandes creadores. En cuanto al segundo proceso, es difícil evitar que la máquina haga cosas inútiles. Por el momento, no posee la capacidad de evaluar y, por lo tanto, de escoger únicamente la solución más adecuada. No obstante, se puede implementar un “sistema creador”, compuesto por una máquina y por un ser humano, en donde la computadora genere abundante material recombinado y el hombre la guíe por el camino más interesante o la máquina efectuara los procesos inferiores de una obra y el ser humano continuara el trabajo en un nivel superior. 1.2.1. Diferentes técnicas Varias técnicas de Inteligencia Artificial que ya han demostrado su valía para modelizar actividades creativas [2]. Como ya han aparecido en la asignatura, se describen sintéticamente a continuación [3]: – Sistemas Expertos: Emulan artificialmente ciertos aspectos del razonamiento de un especialista humano en un ámbito restringido y limitado de conocimiento. Su característica principal es que se basan en reglas; es decir, contienen un juego predefinido de conocimientos que se utiliza para tomar sus decisiones. – Razonamiento Basado en Casos Aprovecha la experiencia adquirida en el pasado para resolver el problema actual, a través de su gran base de conocimientos con ejemplos de casos ya resueltos (históricos). A la hora de resolver un nuevo caso, el sistema busca en su memoria y recupera aquel que más se le asemeje adaptándolo al problema actual. Al incorporar permanentemente nuevos casos a su memoria, el sistema va adquiriendo más “experiencia” con el tiempo. Se trata, en definitiva, de un aprendizaje por analogía. – Redes Neuronales Artificiales: Inspiradas en el cerebro humano, están compuestas por una multitud de procesadores paralelos interconectados, cada uno de los cuales es capaz de efectuar sólo un pequeño número de operaciones simples y transmitir sus resultados a sus vecinas. A las redes neuronales no se les “inculca” ningún tipo de regla, sino que son capaces de aprender a reconocer patrones, a partir de un proceso de entrenamiento basado en el análisis automático y sistemático de una suficiente cantidad de ejemplos diferentes. Son hábiles para manipular datos imprecisos, incompletos, con ruidos y hasta compuestos de ejemplos contradictorios. – Algoritmos Genéticos Son métodos adaptativos de búsqueda que se basan en los mecanismos de evolución biológica. En ellos se codifica cada una de las posibles soluciones a un problema dado en forma de cadenas de caracteres de longitud fija llamados “genes”. Se genera una “población” inicial de prueba, a la cual se evalúa posteriormente según un criterio de desempeño fijado con anterioridad (la “función de adecuación” o fitness). En cada cada ciclo o generación se eligen las soluciones que más se aproximan al objetivo buscado, descartando el resto de las soluciones. Las más aptas se combinan entre sí para producir una descendencia nuevas soluciones, permitiendo introducir alguna modificación al azar (una “mutación”) durante la reproducción. Este ciclo se itera hasta llegar a aquella considerada aceptable. – Sistemas Multiagentes Se componen de un conjunto de entidades relativamente autónomas e inteligentes que cooperan entre sí para desarrollar una tarea o resolver un problema (agentes). Se trata de comunidades de agentes, cuyas propiedades no pueden derivarse únicamente de las de sus partes constitutivas.. El Razonamiento Basado en Casos (CBR, Case Based Reasoning) cuenta con varias aplicaciones completamente funcionales en el campo del audio, como son: – Estudio de la similitud melódica (diferentes algoritmos compitiendo en el Music Information Retrieval Exchange MIREX [9]) – Transformaciones temporales de grabaciones monofónicas de audio respetando su expresividad: Tempo-Express. – Síntesis de audio expresivo mediante SMS por imitación de un intérprete humano: SaxEx [15]. – Generación de improvisaciones: JIG (Jazz Improvisation Generator [16], incorporado posteriormente como parte de SaxEx) Tempo-Express está desarrollado en la tesis doctoral de M. Grachten, pero por la extensión de esta queda fuera de nuestro ámbito. Sí entraremos a examinar tanto SaxEx como JIG, dos sistemas capaces capaces de generar audio expresivo, cada uno centrando su “creatividad” en un campo: SaxEx en la creación de interpretaciones expresivas y JIG en la composición de nuevas melodías derivadas de temas y estándares de jazz. 2. EXPRESIVIDAD EN LA EJECUCIÓN MUSICAL Cuando un ejecutante interpreta música a partir de una partitura, el resultado nunca es una reproducción literal y mecánica de la partitura (la llamada ejecución nominal). Incluso cuando músicos (expertos) tocan intencionadamente de una manera mecánica, aparecen diferencias notables con respecto a la ejecución nominal. 2.1. Factores La investigación en torno a la ejecución musical data desde al menos el final del siglo XIX. Repp mostró que los estudiantes de piano eran tan capaces como los profesionales de producir repetidamente versiones muy similares de la misma pieza. En 1913, Johnstone observó que en las ejecuciones pianísticas, las notas pertenecientes a la melodía se tocan de forma habitual ligeramente adelantadas con respecto a las notas pertenecientes a acordes en la misma posición métrica. Actualmente se acepta que la interpretación de una pieza musical está determinada o influida por varios factores. En primer lugar, las condiciones físicas del músico y su instrumento, ya que el tipo de instrumento determina en gran medida el carácter de la interpretación. Además, las condiciones fisiológicas del intérprete (como fatiga o estado de salud) pueden jugar un papel. En segundo lugar, las habilidades motoras de cada persona determinarán el grado de desviación no intencionada de la ejecución frente a la partitura. Un músico experimentado controla mejor su velocidad motora y su exactitud. Un tercer factor son los aspectos afectivo-cognitivos del músico. Sloboda muestra que los ejecutantes se desvían sistemáticamente de la partitura cuando tocan variaciones de la pieza consistente en la misma secuencia de notas (con sólo su emplazamiento en el compás cambiado. Este resultado elimina la posibilidad de que las desviaciones sean debidas a limitaciones motoras humanas. Otros estudios muestran desviaciones sistemáticas en interpretaciones dotadas de caracteres o intenciones diferentes. 2.1.1. Recursos interpretativos: Podemos concluir de los estudios y razonamientos anteriores que los ejecutantes enriquecen el sonido usando las siguientes técnicas: – Desviación en tiempo – Articulación – Dinámica – Modulación (vibrato) – Ornamentaciones La señal de audio lleva, por tanto, una gran cantidad de información acerca de la expresividad, que deberíamos ser capaces de sintetizar en un conjunto de descriptores de alto nivel. 2.2. Transformación temporal expresiva Se ha discutido si los aspectos temporales de la interpretación se escalan uniformemente cuando el tempo cambia [6], esto es, si las duraciones de todas las notas producidas mantienen sus proporciones relativas. Esta hipótesis es denominada la invariancia relacional (de la duración bajo cambios de tempo). Se han hallado discrepancias con esta teoría [Desain and Honing, 1994; Friberg and Sundström, 2002; Timmers et al., 2002], y un reciente estudio muestra que los oyentes son capaces de determinar cuando grabaciones de jazz y música clásica han sido uniformemente comprimidas en tempo a partir solamente a partir de aspectos expresivos de las interpretaciones. [Honing, 2006]. De hecho es posible revelar cómo el contenido expresivo de las piezas varía con el tempo. La gráfica muestra la frecuencia de aparición de varios tipos de recursos expresivos, como ornamentación y consolidación, como una función del tempo nominal de las interpretaciones (el tempo anotado en la partitura), entendido como eventos discretos más que como aspectos numéricos continuos como la temporización o las desviaciones dinámicas . Figura 1 Frecuencia relativa de eventos en función del tempo Según la figura, la ornamentación, por ejemplo, muestra un descenso muy acusado con el incremento del tempo. La frecuencia de aparición de cierto tipo de eventos interpretativos, especialmente de la consolidación, crece con el tempo. La siguiente gráfica muestra cómo varían sistemáticamente varios parámetros expresivos comparando diferentes interpretaciones de la misma frase con diferentes tempos (medidos en pulsos o “tiempos” por minuto, BPM). El eje x muestra las diferencias de tempo entre las dos interpretaciones. En la figura superior izquierda, el eje y muestra el valor eficaz (RMS) de la diferencia absoluta en el comienzo (onset) de nota. La figura superior izquierda muestra el valor eficaz de la diferencia de duración entre pares de notas, la inferior izquierda el valor de la diferencia de energía y la inferior derecha muestra la distancia entre interpretaciones, consideradas como dos secuencias de eventos interpretativos. La distancia aumenta en esta última cuando las secuencias contienen diferentes elementos. En las cuatro gráficas las diferencias se incrementan conforme aumenta el tempo al que se interpreta la frase. En algunos parámetros el cambio puede parecer pequeño pero hay que tener en cuenta que el impacto real de las interpretaciones viene dado por la combinación de todos los parámetros. Los efectos en los parámetros individuales son acumulativos. Figura 2 Diferencias entre ejecuciones (de la misma frase) frente a su diferencia de tempo Las anteriores observaciones apoyan la idea de que algunas circunstancias la invariancia relacional puede transmitir ciertos aspectos de la expresividad, en general no se puede asumir que todos los aspectos expresivos se transformen de manera lineal o permanezcan constantes cuando el tempo de la interpretación cambia. En otras palabras, la transformación temporal de música involucra más técnicas que el uniform time stretching (UTS). Este concepto será usado en SaxEx para permitir aplicar ataques, variaciones de dinámica u otros parámetros de expresividad extraídos de la base de casos a otras melodías con diferente tempo. 2.3. Análisis: Descripción de Contenidos Para preparar los casos, así como el problema, se debe llevar a cabo un análisis musical sobre la partitura del tema. Los resultados se usarán en el proceso de solución del problema, por ejemplo para segmentar frases en grupos más pequeños de notas y para llevar a cabo la recuperación de casos. Una descripcióna nivel de nota (como MIDI) no es suficiente, ya que solo permite un modelizado limitado de la expresividad (desviaciones en tiempo, inserción de notas…). Mucha de la expresividad se haya a nivel de intra-nota (vibrato, articulación) y otra se haya colocada por encima, a un nivel de motivo (dinámicas). 2.4. El Modelo de Implicación/Realización Narmour ha propuesto una teoría de la percepción y la cognición de melodías, el Modelo de Implicación/Realización o modelo I/R. De acuerdo con esta teoría, la percepción de una melodía genera continuamente previsiones en los oyentes acerca de cómo continuará la melodía. La fuente de estas previsiones es doble, siendo tanto innatas como adquiridas. Los factores innatos son procesos predefinidos en nuestro cerebro y nuestro sistema periférico, mientras que los aprendidos se debe a la exposición a la música como un fenómeno cultural y la familiaridad con determinados estilos de música. Igual que en la teoría Gestalt de la visión, los elementos individuales se combinan para formar unidades percibidas como un todo (“gestalt”). El agrupamienmto sigue los principios de proximidad (perceptual), similitud y continuación (es decir, los elementos aparecen como una sucesión natural). Narmour, siguiendo con la analogía, indica que esperamos oír, después de cierto intervalos, una determinada nota con más probabilidad que otras. Hay dos principios básico que regulan este comportamiento: – Dirección registral – Diferencia interválica La dirección registral supone que un pequeño intervalo ascendente hace esperar otro intervalo ascendente (análogamente para intervalos descendentes), e intervalos grandes implican cambios en la dirección registral. La diferencia interválica supone que un intervalo menor de 5 semitonos implica un intervalo posterior de tamaño similar (hasta dos semitonos mayor o menor) y un intervalo mayor implica un intervalo subsiguiente menor. perceptual con el sonido original cuando no se realizan transformaciones. Su aproximación particular al análisis espectral es la descomposición del sonido en sinusoides más un residuo espectral [17]. El proceso puede se automático o controlado por el usuario dependiendo de las características del sonido. Basándonos en estos principios, los patrones melódicos pueden respetar o violar las implicaciones. Los patrones son denominados estructuras y se etiquetan de acuerdo a sus características registrales e interválicas. Figura 3 Estructuras básicas del modelo I/R y primeros compases de “All of Me” anotado con estructuras I/R. Se pueden diseñar algoritmos que clasifiquen las estructuras presentes en una melodía según sus análisis I/R, por ejemplo para integrar archivos de audio de interpretaciones reales en nuestra base de casos. Se pueden usar mecanismo estandarizados con el fin de acoplarse a la norma MPEG-7, guardando los datos en formato XML. 3. SaxEx: CBR para la generación interpretaciones musicales expresivas. de El principal obstáculo para generar automáticamente interpretaciones musicales expresivas es que los intérpretes humanos usan conocimientos musicales que no están explícitamente indicados en la partitura. Además, estos conocimientos son difíciles de verbalizar y por tanto las implementaciones con IA basadas en representaciones declarativas de conocimiento tienen serias limitaciones. Una aproximación alternativa es el uso directo de estos conocimientos implícitos en grabaciones de interpretaciones humanas. Trabajos previos habían intentado resolver el problema principalmente por medio de instrumentos MIDI con sus inevitables limitaciones, sobre todo en materia de expresividad. SaxEx es un sistema basado en casos diseñado para generar interpretaciones expresivas de melodías basándose en ejemplos de interpretaciones humanas. La resolución mediante CBR es apropiada ya que se pueden conseguir múltiples casos resueltos o precedentes, es decir, grabaciones de interpretaciones humanas. 3.1. Análisis y resíntesis: SMS Las técnicas de análisis y síntesis basadas en modelos espectrales como SMS (Spectral Modeling Synthesis) son útiles para extraer parámetros de alto nivel de sonidos reales, para transformarlos y para la síntesis de una versión modificada del original. La finalidad de SMS es obtener una representación del sonido general y musicalmente significativa, a partir de la cual podemos manipular parámetros musicales manteniendo la identidad Figura 4 GUI de SMS . La ventana superior muestra la forma de onda del sonido de entrada, la central muestra la evolución en frecuencia de los parciales, y la inferior contiene el residuo espectral. De la representación senoidal y residual podemos extraer parámetros de alto nivel cuando el sonido es una nota o una frase monofónica de un instrumento. SaxEx usa SMS para obtener información básica relacionada con varios parámetros de expresividad como dinámica, rubato, vibrato y articulación a partir de datos de tiempos de ataque y de caída, estructura de formantes o amplitud y altura medias. Todos estos parámetros se pueden modificar y añadir a la representación espectral sin ninguna pérdida de calidad sonora. El análisis SMS se comporta como un preproceso para extraer los parámetros musicales de alto nivel, mientras que la síntesis SMS añade las transformaciones especificadas por el sistema CBR al sonido original, lo que permite a SaxEx generar nuevas interpretaciones expresivas (nuevos archivos de sonido). 3.1.1. Modelado de conocimientos musicales SaxEx incorpora como base conocimientos musicales construidos sobre el modelo de implicación/realización de Narmour y la teoría generativa de la música tonal (GTTM) de Lerdahl y Jackendoff. Estas teorías de percepción y entendimiento musical son las bases del modelo computacional de conocimiento musical del sistema. 3.1.2. Implementación La parte cognitiva está implementada en Noos, un lenguaje de representación reflectivo orientado a objetos, diseñado para soportar el modelado de conocimiento para la resolución de problemas y el aprendizaje. Este lenguaje está implementado en Common Lisp y puede funcionar en diversas plataformas, siendo la Macintosh plataforma principal de desarrollo, a través de un entorno gráfico de ventanas. Modelar un problema en Noos requiere especificar tres tipos diferentes de conocimiento: – de dominio – de resolución de problemas – de metanivel Figura 5 Parte de la partitura de “All of Me” representada en Noos El conocimiento de dominio especifica un conjunto de conceptos, relaciones entre conceptos y datos del problema relevantes para una determinada aplicación, quedando definida la ontología de dominio. En este caso, la ontología de dominio está compuesta por notas, acordes, estructuras de implicación/realización y parámetros expresivos. Los datos de problema definen situaciones específicas que tienen que ser resueltas (por ejemplo frases en concreto que deben ser transformadas). Noos está basado en feature terms (términos característicos), que corresponden a estructuras similares a registros agrupando una colección de características. Esto genera una representación de partitura como la de la figura, a partir de los parámetros usados en el modelado. sistema infiere una serie de posible transformaciones expresivas para una pieza dada. Finalmente, usando la síntesis SMS y el set de transformaciones inferidas, SaxEx genera nuevas interpretaciones expresivas de los mismos estándares de jazz y también de otras melodías de similar carácter no presentes en el grupo de casos (base de conocimientos) original. SaxEx ha sido desarrollado especificando dos tipos diferentes de conocimiento: – modelado de conceptos y estructuras relevantes para representar el conocimiento musical – desarrollo de un método de resolución para hallar la secuencia de transformaciones expresivas necesaria para una frase musical dada. El conocimiento de resolución de problemas especifica el conjunto de tareas a resolver en una aplicación (la secuencia de transformaciones en este caso). Los métodos modelan los modos de resolver las tareas. Éstos a su vez pueden ser elementales o estar divididos en subtareas. Para una sola tarea puede haber múltiples métodos capaces de llevarla a cabo. El conocimiento reflectivo o de metanivel son datos acerca de los dos dominios de conocimiento anteriores. Se puede usar como criterio en la selección de los métodos para una tarea específica. Una vez que un problema (tarea) es resuelto, Noos lo almacena e indexa, siendo esta característica lo que lo hace adecuado para los sistemas de aprendizaje no supervisado y específicamente, para los sistemas de razonamiento basado en casos. 3.1.3. Proceso El estudio de la expresión musical en SaxEx se centra en el contexto de las interpretaciones de saxofón tenor. Basándose en varias grabaciones de un ejecutante de saxo tocando estándares de jazz con diferentes grados de expresividad, incluida una versión (casi) inexpresiva de cada pieza. Estas grabaciones son analizadas usando las técnicas de modelado espectral SMS con el fin de extraer información básica relacionada con los parámetros expresivos. El conjunto de parámetros extraídos junto con las partituras de las piezas constituye el grupo de casos que conforma los sistemas CBR. Con este set de casos y usando criterios de similitud basados en los conocimientos musicales de base, el Figura 6 Diagrama de bloques de SaxEx 3.1.4. El Razonador Basado en Casos El método de resolución desarrollado sigue la descomposición en subtareas de los métodos CBR: recuperar (retrieve), adaptar (reuse/adapt), e incorporar (retain/incorporate): ­ Si se comparan ambas versiones, se podrá comprobar cambios en la distribución temporal de algunas notas, crescendo en las melodías ascendentes y decrescendo en notas largas, uso del vibrato y cambios en la articulación, que pasa a ser más marcada. Retrieve: Elección del conjunto de notas (casos) más similares al problema actual. Esta tarea es descompuesta en tres subtareas: · Identify: construcción de patrones de recuperación usando dos criterios alternativos: estructuras de implicación/realización de Narmour o importancia métrica (dada por GTTM) de las notas. · Search: búsqueda de casos en la memoria de Noos usando sus métodos de recuperación y patrones previamente construidos. · Select: clasificar por rango los casos recuperados usando los métodos preferentes de Noos, que usan criterios como similitud en la duración de las notas, estabilidad armónica o direcciones melódicas. ­ ­ Reuse/Adapt: Elección de transformaciones expresivas a ser aplicadas en el problema actual entre las del conjuntos de casos similares. El criterio usado privilegia las opciones con mayor grado de similitud. Retain/Incorporate: Incorporación del nuevo problema resuelto a la memoria de casos, realizada de forma automática en Noos. Todos los problemas resueltos estarán disponibles para futuros procesos de razonamiento. Figura 8 Autumm Leaves y All of Me 3.2. Conclusiones Existe bastante literatura sobre descripción de la expresividad natural a partir de interfaces similares a MIDI: – Widmer et al., reglas para interpretación expresiva en piano. – Dillon, Camurri et al., reconocimiento de estados anímicos – Bressin et al., reglas y ANN para interpretación automática – Desain & Honing, correspondencia partiturainterpretación – Gómez et al., transformaciones expresivas de tempo en interpretaciones de jazz – Ramirez et al., reglas para la predicción de la expresividad en interpretaciones de jazz También se ha llevado a cabo trabajo sobre el modelado tímbrico de sonidos aislados (Jenssen, K) como factor de expresividad. Sin embargo trabajos anteriores sobre el análisis y síntesis de expresión musical sólo habían abordado el estudio de parámetros como ritmo y vibrato, Figura 7 Descomposición de tareas CBR de SaxEx 3.1.5. Dos (pequeños) ejemplos Como ejemplo, podemos escuchar las transformaciones introducidas en dos fragmentos, uno de “Autumn Leaves” y otro de “All of Me”, obtenidas a partir del análisis de las interpretaciones expresivas de otras piezas y la aplicación a otras piezas distintas. En concreto, se trabajó sobre tres interpretaciones expresivas de piezas conteniendo cerca de cincuenta notas con el fin de generar ejecuciones expresivas de unas veinte notas. El uso en Noos de perspectivas permitió al sistema identificar situaciones como notas largas, melodías ascendentes y descendentes, etc. que también son usadas como referencias (de dinámica por ejemplo) por intérpretes humanos. Los ejemplos sonoros de interpretación inexpresiva y de transformación expresiva se adjuntan con este documento. Widmer es el único que previamente había intentado generar música expresiva basándose en ejemplos, aunque mediante un método basado en descripciones para el aprendizaje de dinámicas y rubato en un contexto MIDI, usando un piano electrónico. En SaxEx se manejan con muchos parámetros expresivos adicionales en el contexto de un instrumento más rico expresivamente. Los resultados obtenidos se asemejan a una interpretación humana en parámetros como rubato, vibrato y dinámicas, aunque las articulaciones requieren un mayor grado de atención. 4. JIG Generador de Improvisaciones Jazz JIG genera improvisaciones ’formulaicas’ monofónicas en clave de jazz usando restricciones en combinación con aleatoriedad (condicionada por probabilidad) para generar los atributos de nota. De esta manera, numerosas improvisaciones se pueden generar a partir de una sola pieza. JIG ha sido incorporado en SaxEx, que se encarga de modificar los atributos expresivos de la nota, como dinámica y articulación. Por tanto, JIG sólo necesita generar los atributos de duración y altura a partir del tema de la pieza y su armonización. Las improvisaciones supuestamente deben cumplir estas tres grandes restricciones: – Tonalidad: la improvisación debe ser tonal respecto al resto de la música y por tanto predominantemente consonante. – Continuidad: el contorno melódico de la improvisación debe ser mayormente suave; los intervalos grandes se usarán ocasionalmente y la dirección de registro no será frecuentemente variada. – Estructura: la improvisación no debería ser meramente una secuencia de notas no relacionadas; de alguna manera, se debería poder identificar grupos interrelacionados de notas Las dos primeras restricciones son relativamente sencillas de satisfacer, usando el contexto local. La estructura requiere una elaboración mas detenida, y la improvisación puede tomar distintas formas en función de la estructura elegida. Un tipo de improvisación reconocida en el jazz es la llamada “formulaica”, es decir la construida mediante el uso de fórmulas (pequeños fragmentos melódicos tambén llamados motivos). Las fórmulas pueden provenir del repertorio personal o del tema. No deben aparecer literalmente, sino que deben ser transformadas para ajustarse al contexto y pueden unirse mediante secuencias de notas de transición, o melódicas. Para derivar la altura final del pitch-type se tienen en cuenta 3 factores: – Altura de la anterior nota – Dirección melódica (deseada) o armónica del siguiente acorde. – Valor medio del intervalo entre las últimas notas Como podemos ver en la figura la altura se elegiría entre una serie de valores: Figura 11 Probabilidad de elección de nota 4.2. Conclusiones 4.1. Proceso El proceso para generar cada tipo de notas será diferente, y se elegirá uno u otro en cada momento según una distribución estadística a flta de desarrollar un métiodo más preciso. Para la generación de motivos, si se dispone de un análisis de la pieza según el modeo de Narmour, será más fácil identificarlos ya que cada una de las secuencias lleva aparejado un carácter conclusivo o no conclusivo que determinan la posible funcionalidad de un grupo de notas como motivo. Las improvisaciones generadas por JIG cumplen el requisito de tonalidad con bastante facilidad, aunque a veces la selección de escala basándose tan sólo en lo acordes usados en ese momento produce elecciones extrañas en los fragmentos entre motivos. La condición de estructura quizás sea la menos evidente, ya que está no está formalmente demasiado clara. A modo de ejemplo, esta es una improvisación generada por JIG sobre “Autumn Leaves”. El uso del principio del tema como motivo es bastante claro. Figura 12 Improvisación sobre “Autumn Leaves” En la presentación se incluye una improvisación corta creada con JIG y SaxEx. Figura 9 Proceso de generación melódico En el proceso melódico, la duración es generada antes que la altura, debido a la relativamente más restringida gama de alturas. Una vez que se ha determinado una duración, el contexto es suficientemente específico como para generar un pitch-type, del que se deriva la altura real del sonido. El proceso de motivos usa fragmentos preexistentes para generar no un solo valor, sino la entonación general del motivo. El proceso es similar al melódico: Figura 10 Proceso de generación de motivos Otros ejemplos interesantes de programas creativos son el sistema informático desarrollado por Roger Dannenberg capaz de generar en tiempo real toda la sección rítmica de acompañamiento de un solista interpretando blues; o NeurSwing de Dennis Baggi que también genera la sección rítmica para un solista improvisando jazz. 5. REFERENCIAS [1] Langen, Pieter van; Wijngaards, Niek y Brazier, Frances (2004): Towards Designing Creative Artificial Systems. AI EDAM (Engineering Design, Analysis and Manufacturing), Special Issue on Learning and Creativity in Design, vol. 18, N° 4, p. 217-225 www.iids.org/publications/AIEDAM04_Creativity.pdf [2] López de Mántaras, Ramón (2000): Inteligencia artificial y creatividad. Mecad, número 3, marzo. Barcelona. http://www.mecad.org/e-journal/archivo/numero3/art1.htm [3] Moriello, Sergio (2005): Inteligencia Natural y Sintética. Buenos Aires, Editorial Nueva Librería. [4] Pease, Alison; Winterstein, Daniel y Colton, Simon (2001): Evaluating machine creativity. Proc. ICCBR 2001 Workshop on Creative Systems: Approaches to Creativity in Artificial Intelligence and Cognitive Science (Bento, C., & Cardoso. A., Eds.). http://homepages.inf.ed.ac.uk/s9904767/papers/iccbr01.pdf [5] Saunders, Rob y Gero, John (2001): Artificial Creativity: Emergent Notions of Creativity in Artificial Societies of Curious Agents. http://www.vf.utwente.nl/%7Ehmiproj6/AL/SaundersGero2 001SecondIteration.pdf [6] Repp, B. H. (1995): Quantitative effects of global tempo on expressive timing in music performance: Some perceptual evidence. Music Perception, 13: p.39–58. [7] Juslin, P. N.; Friberg, A. y Bresin, R. (2002). Toward a computational model of expression in music performance: The GERM model. Musicae Scientiae, Special Issue 20012002, 63-122. http://www.psyk.uu.se/hemsidor/musicpsy/abstracts.html#C omp_mod [8] Dillon, Roberto: Extracting audio cues in real time to understand musical expressiveness. Laboratory of Musical Informatics – University of Genoa. [9] Gómez, Emilia; Grachten, Maarten; Amatriain, Xavier y Arcos, Josep Lluís (2003): Melodic Characterization Of Monophonic Recordings For Expressive Tempo Transformations. Proc. Stockholm Music Acoustics Conference, August 6-9, (SMAC 03), Stockholm, Sweden. [10] Grachten, Maarten; Arcos, Josep Lluís (2004). Music Performance Generation as Time Series Prediction. Proc. ECCBR 2004 Workshops: p. 329-336. UCM, Madrid. http://www.iiia.csic.es/langes/publication_detail.php?pub_id=918i [11] Hazan Amaury; Ramirez Rafael y Grachten, Maarten (2006): Evolving Performance Models by Performance Similarity: Beyond Note-to-note Transformations. Music Technology Group, (UPF) - Artificial Intelligence Research Institute (IIIA - CSIC), Barcelona, Spain. [12] Arcos, Josep Lluís; Cañamero, Dolores y López de Mántaras (1998): Affect-Driven Generation of Expressive Musical Performances. IIIA, Artificial Intelligence Research Institute, Spanish Council for Scientific Research CSIC, UAB, Bellaterra, Spain. [13] Arcos, Josep Lluís; Cañamero, Dolores y López de Mántaras (1998): Combining AI Techniques to Perform Expressive Music by Imitation. Artificial Intelligence Research Institute, IIIA; Spanish Council for Scientific Research, CSIC, Campus UAB, Bellaterra, Spain. [14] Arcos, Josep Lluís(1998): Saxex, A Case-Based Reasoning system for generating expressive performances http://www.iiia.csic.es/Projects/music/Saxex.html [15] Arcos, Josep Lluís; López de Mántaras y Serra, Xavier(1998): SaxEx: a case based reasoning system for generating expressive musical performances. Artificial Intelligence Research Institute, IIIA Spanish Council for Scientific Research, CSIC, Campus UAB, Bellaterra – IUA Audiovisual Institut Pompeu Fabra University, Barcelona, Spain. [16] Grachten, Maarten (2004): JIG: Jazz Improvisation Generator. Artificial Intelligence Research Institute, IIIA Spanish Council for Scientific Research, CSIC, Campus UAB, Bellaterra, Spain. [17] Serra, X. (1997). Musical sound modeling with sinusoids plus noise. In Roads, C., Pope,S. T., Picialli, A., and De Poli, G., editors, Musical Signal Processing, pages 91–122. Swets and Zeitlinger Publishers.