What is sonification/es

Cuando emitimos un sonido para comunicar algo, estamos aplicando un sistema de sonificación. Representamos datos en el ámbito auditivo. Convertimos datos en sonidos; estos datos suelen representar cualquier cosa que pueda expresarse en números: una medida física, un concepto, una acción o el seguimiento vectorial de una secuencia de valores procedentes de un sensor. Se han creado muchas definiciones para este proceso denominado sonificación: desde "subtipo de representaciones auditivas que utilizan audio no verbal para representar información", hasta "transformación de relaciones de datos en relaciones percibidas en una señal acústica con el fin de facilitar la comunicación o la interpretación" y, de una manera más definitiva y precisa, "generación de sonido dependiente de datos, si la transformación es sistemática, objetiva y reproducible" , y, por último, "técnica de transformación de datos no audibles en sonido que puede ser percibido por el oído humano" . Para simplificarlo en el contexto de este manual, podemos afirmar brevemente que "la sonificación es el proceso de generar sonido a partir de cualquier tipo de datos para representar su información en forma de audio". En términos aún más sencillos, podemos decirle a un estudiante que la sonificación describe los datos con sonido del mismo modo que la visualización lo hace con gráficos, diagramas de flujo, histogramas, etc.

En resumen, queremos combinar datos (entrada) y sonidos (salida), y determinar la forma en que ambos se relacionan (correspondencia o protocolo). Por lo tanto, un sistema de sonificación se define por estas tres partes:

1 - Datos de entrada 2 - Sonidos de salida 3 - Asignación o protocolo

Tipo de datos y uso de la sonificación

La sonificación se utiliza cada vez más como herramienta científica para analizar y supervisar datos de diversos fenómenos, y ha evolucionado especialmente en la comunidad astronómica debido a las grandes cantidades de datos que se generan al observar el cosmos, pero también como herramienta artística y complemento educativo de otras disciplinas como la medicina, las matemáticas, la física, la química, así como la geografía, la economía o incluso la literatura. Por ejemplo, en medicina, los médicos supervisan las reacciones biométricas de los pacientes en tiempo real sin tener que mirar una pantalla. En literatura, se puede crear una representación sonora "a posteriori" (posteriormente) utilizando el número de adjetivos de un libro o el número de veces que aparece una determinada palabra en un artículo. Cualquier tipo de dato está compuesto por números. Y los números pueden generar sonido, ya que la música y el sonido se reducen fundamentalmente a números, en el sentido de que podemos describirlos utilizando números.

Usos de la sonificación

El objetivo de la sonificación es representar, mostrar y compartir datos. Al recurrir al ámbito auditivo, los datos pueden resultar más accesibles y comprensibles para el mayor número posible de usuarios, especialmente para aquellas personas que tienen dificultades para interpretar las representaciones visuales de los datos; además, puede utilizarse para que los datos resulten más atractivos y fáciles de recordar para todo el mundo. La sonificación se puede utilizar en una gran variedad de aplicaciones, como la visualización de datos científicos, la monitorización de condiciones ambientales y la creación de experiencias multimedia interactivas, pero también en la educación, a la hora de involucrar a los estudiantes en la comprensión de un concepto científico utilizando estímulos auditivos en lugar de visuales. A continuación se muestran algunos ejemplos de cómo se utiliza la sonificación en el mundo real: Análisis de datos científicos: La sonificación puede utilizarse para analizar datos que son demasiado complejos o abstractos para ser representados visualmente. Por ejemplo, los científicos han utilizado la sonificación para analizar el comportamiento de los átomos (Los sonidos de los átomos), la actividad de las neuronas en el cerebro (Software interactivo para la sonificación de la actividad neuronal | HAL) , y la evolución de las galaxias (https://chandra.si.edu/sound/gcenter.html). La sonificación también puede aplicarse cuando los datos se registran en una secuencia demasiado densa y, por lo tanto, la manipulación del tiempo permite un escalado audible o transformaciones sonoras en duraciones mayores o menores, como al transformar el sismógrafo de un terremoto en sonido. Monitorización de las condiciones ambientales: La sonificación puede utilizarse para monitorizar las condiciones ambientales en tiempo real, por ejemplo, para monitorizar el sonido del océano con el fin de rastrear cambios en la temperatura del agua y los niveles de contaminación Creación de experiencias multimedia interactivas: La sonificación puede utilizarse para crear experiencias multimedia interactivas que son más inmersivas y atractivas que las interfaces visuales tradicionales. Por ejemplo, la sonificación se ha utilizado para crear mapas interactivos , juegos educativos (CosmoBally - Sonokids) y experiencias de realidad virtual.

Sonificación en tiempo real frente a "a posteriori"

Según el uso que se le dé al sistema de sonificación (para analizar o para monitorizar un fenómeno determinado), distinguimos dos "modos": 1) en tiempo real (para monitorizar): un flujo de datos se sonifica al instante y se genera un sonido que muestra el valor y el comportamiento de los datos en ese momento concreto; 2) "a posteriori" (para analizar): la sonificación de series temporales de un conjunto de datos pregrabados se convierte en un archivo de audio que muestra los valores y el comportamiento de los datos a lo largo del periodo de tiempo que abarca la serie temporal. Estos dos métodos no son mutuamente excluyentes y pueden llegar a mostrar los mismos sonidos. La diferencia radica en que, en el modo «a posteriori», dado que el sonido se produce después de que hayan ocurrido los eventos que originaron los datos, se pueden adaptar los parámetros de la pieza final, es decir, la duración total. En el caso del tiempo real, se puede controlar la resolución temporal: es decir, el intervalo de tiempo en el que el sonido puede cambiar y se reproduce.

Ecología acústica

La estética es importante. Un sonido puede estar mapeado con gran precisión, pero resultar "horrible" para el usuario. Esto podría considerarse un defecto y, por lo tanto, limitar la eficacia del sistema, ya que el usuario no soportará escucharlo. Por otro lado (por ejemplo, en las alarmas), el sonido puede ser intencionadamente estridente y agresivo. La elección del sonido de salida es, en cierto modo, artística, en el sentido de que debe tener en cuenta el tipo de público y sus gustos. Esto no significa que estemos obligados a reproducir algo que le guste al usuario, pero al menos debemos ser conscientes de qué tipo de sonido le resulta familiar. Aunque el gusto sea subjetivo, nos gustaría recordar el trabajo realizado en el campo de la ecología acústica. Existen algunos factores comunes señalados por los estudios de psicología y también por los modelos culturales de «belleza». En el presente proyecto, como sugiere el nombre del mismo, hacemos referencia al trabajo y la visión del compositor canadiense Murray Schafer, quien popularizó el término «paisaje sonoro» en el libro «The Tuning Of The World» en 1977. Los paisajes sonoros pueden considerarse simplemente como una composición de la antropofonía, la geofonía y la biofonía de un entorno concreto. El autor sostiene que nos hemos insensibilizado ante los ricos sonidos de nuestro entorno, a los que él denomina «paisaje sonoro». Este paisaje sonoro abarca todos los sonidos naturales y artificiales que nos rodean, y Schafer cree que deberíamos aprender a apreciarlo y gestionarlo para lograr un mundo mejor. Su trabajo dio lugar al "movimiento de la ecología acústica", cuyo objetivo es estudiar la relación entre los seres humanos, los animales y la naturaleza, en términos de sonido y paisajes sonoros. El Instituto de Ecología Acústica se fundó para concienciar sobre el efecto de los entornos acústicos ruidosos, que se ha demostrado que son perjudiciales al aumentar los niveles de estrés de las personas cuando se encuentran inmersas en ellos.

Ejemplos

SonarX es un software diseñado para transformar imágenes y vídeo en sonido significativo para personas ciegas y todos. Se ejecuta en Pure Data y se puede descargar en este repositorio de GitHub a fecha de 23 de septiembre de 2024.

Algunos elementos históricos

Los grados de la escala musical como sonificación de las proporciones fundamentales (1/2, 2/3, 3/4)

En el sentido más estricto de la Teoría de la Armonía en la Música, la comprensión de las relaciones armónicas que rigen los sonidos se basa en las proporciones matemáticas que corresponden a las dimensiones de longitud, tensión y las propiedades naturales de los materiales que los producen. . La definición del rango general y los intervalos que rigen la escala diatónica se refieren claramente a las proporciones fundamentales de la "Tetraktys" pitagórica.

Grades

Las proporciones

Si calculamos el número de partes del material que se ponen en movimiento, es decir, si el número “2” corresponde a las dos partes iguales en las que se divide una cuerda para producir la octava (que es de nuevo Do, como se muestra en la primera columna, pero más agudo), y suponiendo que se requieren 129 pulsos para producir Do (Do), entonces la tabla siguiente muestra la correspondencia entre las notas en la columna izquierda y las frecuencias en la columna central, con el número de partes en movimiento en la tercera columna.

Notes with frequencies and ratios

Serie de armónicos de la nota Do en la columna izquierda, frecuencias en el centro y número de partes puestas en movimiento (columna derecha)

The series of harmonics with C as the fundamental

Serie de armónicos en la nota Do en el pentagrama

The ratio of 1 to 2 (1/2) also gives us the interval ratio of an octave. Based on the corresponding frequency diagram (number of pulses), the corresponding frequency ratio is 129/259. The ratio 2 to 3 (2/3) therefore gives us the interval, which in turn defines the frequency ratio 259/388. The observation, therefore, of ratios that may arise between two, or even more, numerical values of calculation, measurement, or data series logging, can also serve as a stimulus for creating sonification.

The twelve note chromatic scale, the “set theory” and the holistic seraism

The historical concept of “mapping the notes” of the diatonic scale to the sequence of natural numbers dates back as far as the 17th century, however, philosopher and musician Jean-Jacques Rousseau (1712–1778) was the first to formally present this idea in the French Academy of Sciences.

According to this, each successive note of the musical scale can be numbered in the sequence of natural numbers. For example, if we assign A (A in the Latin solfège) the number 1, then we have the following correspondence (correspondence chart):

A sonification protocol (note-mapping) using the diatonic scale

A sonification protocol (note-mapping) using the diatonic scale

If the scale is also chromatic, then we can have the following arrangement:

A sonification protocol (note-mapping) using the chromatic scale

A sonification protocol (note-mapping) using the chromatic scale

The case of Xenakis’ “Polyagogia”

Iannis Xenakis (1922–2001) was a pioneering architect and composer of the 20th century. The concept of schematic sonification using electronic means, as described above—that is, the conversion of a shape into sound in a manner analogous to the conversion of data into a graph—was studied by Xenakis as early as the 1950s, but it took its final form in the late 1970s. By bypassing the mediation of formal education, Xenakis dared to establish a world of holistic sonic experience as he conceived, designed, and implemented the sonic rendering of graphs in the form of a comprehensive system. This system included an electromagnetic stylus on an architectural design canvas, connected to a computer and speakers; it was named in Greek “Polyagogia” ("Πολυαγωγία", Unité Polyagogique Informatique de CEMAMu/U.P.I.C.) The pedagogical dimension of this connection was emphasized early on by Xenakis. The image below clearly illustrates this connection, as the architectural canvas corresponds to the keys of a piano (vertically on the screen).

Iannis Xenakis at the Center for Mathematical and Musical Automation explains the basic operation of the Polyagoga to students. CEMAMu (Centre d’Études de Mathématique et Automatique Musicales), likely in the late 1970s

The Iannis Xenakis Center (Centre Iannis Xenakis) has developed a modern educational version of UPIC as an application, titled UPISKETCH, which is freely available on this page: https://www.centre-iannis-xenakis.org/upisketch?lang=en

References