Sonification in practice/es

La sonificación con fines educativos, en la práctica, es un proceso de exploración de todas las posibilidades que responde esencialmente a la pregunta: "¿Cómo puedo utilizar el sonido para resaltar o demostrar una o más informaciones o conclusiones derivadas de un movimiento, una medición o un fenómeno que existe, ha ocurrido o se está desarrollando a lo largo del tiempo?". Los datos existentes a nuestra disposición, las condiciones y los métodos de su recopilación, así como el propósito educativo para el que se destina la sonificación, son los factores determinantes para su uso eficaz.

Los aspectos que se describen a continuación configuran la relación entre las necesidades educativas y el concepto de sonido, así como su organización estructurada a lo largo del tiempo, es decir, el concepto de música.

Aspectos de la enseñanza con la sonificación como práctica musical

La indiscutible conexión entre el sonido y los números —en concreto, el concepto de descomposición del sonido en frecuencias o armónicos— proporciona un marco suficientemente estructurado para la enseñanza interdisciplinaria mediante el sonido, dentro del cual se pueden abordar todos los aspectos de STEAM (Ciencia, Tecnología, Ingeniería, Arte y Matemáticas). Dado que el concepto de tiempo define el fenómeno sonoro, el acto representacional de un efecto de sonido no puede sino estar en el centro de cualquier enfoque pedagógico. En consecuencia, la disposición organizada de los elementos sonoros en el tiempo de forma armoniosa —tanto en términos de ritmo, intensidad, timbre, altura y su ubicación posicional en la escala musical, diatónica o no— constituye un resultado musical. Esta organización racional puede servir como campo de experimentación en la composición musical, mientras que la parametrización de todos los conceptos anteriores puede enriquecer cualquier objetivo educativo que dependa de la evolución de un fenómeno a lo largo del tiempo o de la conversión de datos en sonido.

Por lo tanto, podemos distinguir razonablemente el concepto de sonificación con fines educativos en tres enfoques básicos:

• El simbólico

• El matemático

• El adaptativo

Sonificación simbólica

La reproducción de las características del sonido, a saber: tono, intensidad, timbre, frecuencia de repetición (si la hay) y duración —que están vinculadas a conceptos, términos y cantidades científicas sin estar asignadas lógicamente a un conjunto de datos (mapeo de datos)— constituye el objeto de la sonificación simbólica.

Un ejemplo sencillo sería “pintar con sonido” una nube gris usando ruido de baja frecuencia y una nube blanca usando ruido de alta frecuencia. Otro ejemplo sería una clase de estudiantes representando el sonido de la lluvia golpeando aleatoriamente sus uñas contra sus pupitres. Otro ejemplo que relaciona la composición con la representación musical es el leitmotiv. Un leitmotiv es un tema melódico breve que consta de unas pocas notas específicas que, como motivo (patrón) único, se asocia con un personaje de una ópera y es interpretado por la orquesta, particularmente en las óperas de Wagner. El leitmotiv de un personaje lo evoca a lo largo de toda la obra, ¡tanto si el personaje está en escena como si no! Trasladando esto a una serie de datos, dicho leitmotiv podría reemplazar el sonido esperado de un valor bajo o alto prominente (o un valor específico o incluso un rango de valores) sin tener ninguna coherencia ni surgir de los datos vecinos.

Sonificación matemática

Cuando el tono, la intensidad, el timbre, el ritmo (si lo hay) y la duración, como características del sonido, se relacionan con una serie de mediciones de datos vinculadas a un término físico o un concepto científico, forman un mapa lógico de una o más partes de dicha serie (mapeo directo de datos). El resultado sonoro de esta correspondencia es la sonificación matemática.

Un ejemplo que ilustra perfectamente la distinción anterior, principalmente mediante el uso del ritmo, es el mecanismo de indicación sonora de la distancia entre un coche y el que está a su lado al aparcar, una función presente en muchos vehículos. La frecuencia de repetición de esta señal acústica momentánea forma un patrón repetitivo cuyo ritmo varía (lento-rápido) en función de la proximidad al obstáculo, que es detectada con gran precisión por un sensor.

Para comprender la diferencia entre representación simbólica y matemática, podemos adaptar los ejemplos anteriores como actividades sin conexión en el aula. En el ejemplo de las nubes, la sonificación matemática se produciría si definiéramos un umbral de color para el blanco o el gris y representáramos las gotitas que las componen con millones de partículas de frecuencia de duración mínima (nebulosas sonoras). En el ejemplo de la lluvia, tendríamos una sonificación matemática si los estudiantes representaran con absoluta precisión, una por una, cada gota de lluvia en un momento y área específicos. Finalmente, en el ejemplo del estacionamiento, tendríamos una representación simbólica si los ojos de los estudiantes asumieran el rol de sensor, donde los datos se estimarían visualmente sin una medición matemática absoluta.

Sonificación adaptativa

Se trata de un diseño sonoro o composición musical (ampliando este concepto), resultante de la sonificación matemática en la que, sin embargo, se utilizan de forma creativa métodos de representación estética del sonido para cumplir los objetivos de enseñanza al describir conceptos de aprendizaje.

Además, el análisis de los métodos de mapeo de datos junto con la escala diatónica abre un campo fructífero para explorar herramientas didácticas que permitan procesar el sonido en términos de composición musical. El uso de MIDI para el procesamiento del sonido o el resaltado de motivos musicales —que pueden servir como punto de partida para la creación de composiciones musicales— amplía perfectamente la sonificación adaptativa. De hecho, la representación gráfica de datos (visualización gráfica) puede transformarse creativamente en sonido al tratar la visualización como un esquema bidimensional, o incluso una fotografía como una imagen tridimensional. El resultado se conoce como "sonificación esquemática".

Este enfoque adaptable amplía el acceso al resultado auditivo de la sonificación de datos a una amplia gama de grupos de edad y niveles educativos, invitando a educadores de otras disciplinas, como Arte, Teatro y Música, a participar activamente en la enseñanza interdisciplinaria. Un ejemplo de este enfoque se ha implementado en el escenario "Sonidos de las Estrellas" en colaboración con el Observatorio Nacional de Atenas (comunidad: Ήχοι των Άστρων). Este escenario forma parte del repositorio de escenarios de aprendizaje SoundScapes .

El protocolo MIDI. ¿Por qué es útil para la sonorización en la escuela?

El protocolo MIDI (Interfaz Digital para Instrumentos Musicales) se introdujo a principios de los años 80 como un lenguaje de máquina que permitía la interconexión de instrumentos analógicos y, posteriormente, digitales. Este lenguaje interpreta diversos aspectos de la interpretación y la notación musical en formato electrónico.

MIDI permite al usuario recibir, transmitir, almacenar y editar señales producidas electrónicamente que corresponden a diversos aspectos de la música. Los parámetros principales de estos aspectos incluyen el inicio y el final de las notas, la velocidad, el timbre y el tono. Todos estos parámetros se pueden almacenar como código en forma de línea de tiempo dentro de un archivo MIDI. Un archivo MIDI se asemeja al "programa" en forma de cilindro giratorio o papel perforado, como los que se usaban en las cajas de música de finales del siglo XVIII o en los pianolas de principios del siglo XX, que eran autómatas musicales. Esta característica puede resultar enormemente útil con fines educativos, ya que numerosas aplicaciones, sensores y programas MIDI están ampliamente difundidos por internet.

Sin embargo, es la capacidad de editar la salida como partitura musical o como parte de una composición polifónica lo que convierte a MIDI en una herramienta educativa excepcionalmente potente. En las presentes páginas de la wiki se muestran ampliamente sensores que utilizan MIDI.

Componentes de sonificación

Una actividad de sonificación consiste en el diseño y la construcción de un sistema de sonificación. Un sistema de sonificación se puede lograr de muchas maneras diferentes, pero siempre se deben considerar 3 componentes:

1) DATOS DE ENTRADA;

2) PROTOCOLO DE MAPEO;

3) SALIDA DE AUDIO;

Datos de entrada

En un sistema de sonificación, que es nuestro producto final, los datos son la fuente del motor de sonido, y ciertos sonidos específicos serán la salida. Las entradas y salidas se mapean entre sí siguiendo un protocolo que establece qué sonidos se reproducen según qué datos. Por lo tanto, primero necesitamos conocer y comprender los datos que queremos sonorizar. Debemos saber qué queremos expresar con nuestro sistema, de qué hablaremos. Debemos saber cómo cambian los datos (generalmente tenemos datos basados ​​en el tiempo, pero también puede haber datos con referencia espacial, como mapas) y qué características de su comportamiento queremos representar. Por ejemplo, si tenemos un solo valor (como la luminosidad de una estrella, la posición lineal de un automóvil, la cantidad de "me gusta" en un canal de YouTube, el número de nuevas publicaciones en Wikipedia, etc.), podemos elegir reproducir un sonido cuando este valor sea mayor que un cierto umbral, o reproducir un sonido que aumente de volumen a medida que los valores aumentan, o un sonido cuando los valores aumentan o disminuyen con el tiempo. En algunos casos, es útil determinar el valor más alto y el más bajo dentro de todo el rango de valores disponibles. En términos de resultados, esto puede ayudar a definir un “contenedor” de valores iniciales que pueden definir el rango de desviaciones en el resultado. Podemos resaltar ciertas características de los datos. Existen muchos tipos de datos. Los más comunes son:

Datos únicos: que indican un estado ON-OFF (datos booleanos).

Un único valor de datos que abarca un rango de valores: normalmente se asigna a un único sonido o característica de sonido, como el tono, o bpm (pulsaciones por minuto), o un efecto, pero puede controlar más de una característica o sonido a la vez.

Datos múltiples: más de un dato del tipo anterior. Por lo general, se recopilan muchos tipos de datos al mismo tiempo, por lo que estos conjuntos de datos constan de varias capas de datos sincronizados.

El sonido tiene la ventaja sobre la percepción visual de que permite percibir más capas de datos simultáneamente. Los cambios en los patrones se detectan con mayor facilidad al escuchar que al observar, especialmente si la cantidad de datos es muy grande. En resumen, debemos considerar los datos que tenemos, cómo evolucionan con el tiempo, cómo están organizados y cuáles son las partes más relevantes que queremos utilizar para alimentar nuestro sistema de sonorización. Debemos preguntarnos: "¿Qué significará el sonido?". ¡Es fundamental comprender que los datos no son el mensaje! Debemos analizar los datos y su comportamiento para descubrir qué mensaje activará el sonido.

Por lo tanto, antes de esto debemos preguntarnos cuál es el propósito de la sonificación. ¿Se aplicará de forma continua, tal vez en segundo plano, o solo después de un tiempo de recopilación de datos, o ambas cosas?

Sonificación en tiempo real frente a “A posteriori”

Según el uso del sistema de sonificación (para analizar o monitorizar un determinado fenómeno) distinguimos dos “modos”:

En tiempo real (para monitorizar): un flujo de datos se sonoriza instantáneamente y se produce un sonido para mostrar el valor y el comportamiento de los datos en ese momento en particular;

“A posteriori” (para analizar) - la sonificación de series temporales de un conjunto de datos pregrabados se convierte en un archivo de audio que muestra los valores y el comportamiento de los datos durante el período de tiempo cubierto por la serie temporal.

Estos dos métodos no son mutuamente excluyentes y pueden, en última instancia, generar los mismos sonidos. La diferencia radica en que, en una sonificación a posteriori, dado que el sonido se produce después de los eventos que originaron los datos, se pueden adaptar los parámetros de la pieza final, como la duración total. En un caso de tiempo real, se puede controlar la resolución temporal: es decir, el intervalo de tiempo en el que el sonido puede cambiar y reproducirse.

Protocolo de mapeo

El protocolo de mapeo es el núcleo del sistema de sonificación. Aquí es donde el conocimiento de los datos de entrada debe combinarse con la creatividad. De acuerdo con sus necesidades formativas, el creador del sistema de sonificación toma decisiones basadas en su carácter y gusto artístico para traducir conjuntos de datos en piezas sonoras. El protocolo de mapeo es el proceso, algoritmo o función que asocia sonidos específicos a datos definidos. Es el conjunto de reglas mediante las cuales los sonidos de salida se corresponden con los datos de entrada. Un mapeo simple puede consistir, por ejemplo, en una correspondencia directa uno a uno entre cada valor de un dato de entrada y un parámetro de un sonido de salida, como el tono. Este componente del sistema es clave porque es aquí donde el diseñador del sistema selecciona ciertas características de los datos para reproducirlas de una manera particular, con el fin de resaltarlas o no.

Este mapeo consiste en asociar ciertos aspectos de los datos a diferentes parámetros auditivos, como el tono, la intensidad, el timbre y el ritmo. Por ejemplo, la amplitud de un sonido se puede relacionar con el valor de una resistencia de luz, o la frecuencia de un sonido con la tasa de cambio del nivel del mar (mareas).

Por lo general, la tendencia es asociar una única característica de los datos a un único parámetro del sonido de salida, pero los humanos solemos percibir mejor las diferencias sonoras si estas se manifiestan simultáneamente a través de distintas propiedades. Por lo tanto, no es mala idea asociar la misma variable a diferentes propiedades psicoacústicas del sonido (el tono y el volumen, por ejemplo) si queremos resaltar su variación y dinámica.

Nuestro sentido del oído es capaz de enfocarse en un sonido particular entre muchos otros (ver el “efecto cóctel”) basado en el timbre. Nuestro sistema auditivo puede procesar información a una velocidad mucho mayor que nuestro sistema visual. Por ejemplo, mientras que el video normalmente se actualiza a 60 fotogramas por segundo (60 Hz), el audio estándar se muestrea a 44.100 veces por segundo (44,1 kHz). Esto significa que incluso un solo pico breve en una señal de audio, que dura solo una muestra, se percibe instantáneamente como un “clic” distinto. Como resultado, la audición nos permite monitorear múltiples capas de información simultáneamente, a menudo de manera más eficiente que a través de la percepción visual sola <ref>Kramer, G., Walker, B. N., Bonebright, T., Cook, P., Flowers, J., Miner, N., et al. (1999). El Informe de Sonificación: Estado del Campo y Agenda de Investigación. Informe preparado para la Fundación Nacional de Ciencias por miembros de la Comunidad Internacional para la Visualización Auditiva. Santa Fe, NM: Comunidad Internacional para la Visualización Auditiva (ICAD).

Salida de audio

El sonido de salida del sistema será la primera característica que perciba el usuario. Es su sello distintivo, su esencia. Interactuará con el gusto del usuario y debemos tenerlo en cuenta. Es la experiencia auditiva que percibe el público y, como demuestran los estudios sobre percepción del sonido, provocará de forma inmediata e inconsciente una sensación agradable o desagradable en el oyente. Por lo tanto, debemos acostumbrarnos a producir sonidos agradables con el dispositivo que utilicemos, ya sea un zumbador con microcontrolador, un sintetizador virtual para PC o una estación de trabajo de audio digital (DAW) conectada a altavoces. ¡Deberíamos practicar algo de música, o al menos hacer algo de ruido!

Considerando que la percepción del sonido se basa en el tiempo, la sonificación se centra principalmente en la representación de un flujo continuo de datos a lo largo del tiempo: esto significa que los datos de entrada de un sistema de sonificación también podrían provenir de otro dominio, como el perfil de un territorio (datos geográficos), pero todos ellos se transferirán a una representación temporal que es el sonido. El sonido existe solo en el tiempo, como una variación de presión detectada por nuestros tímpanos y transformada en señales eléctricas en nuestro cerebro, o en términos generales, en nuestro sistema nervioso. Sin profundizar en un tema tan fascinante, necesitamos aclarar un par de conceptos antes de continuar. Incluso aquellos que nunca han tocado ni creado música conocen algunas de las características del sonido que describimos aquí.

Música y sonido: conceptos básicos

El cerebro detecta el sonido cuando una presión variable estimula nuestros tímpanos. Se trata de una pequeña membrana que, al moverse por la presión del aire (o del agua si nos encontramos bajo el agua), genera estímulos eléctricos que el cerebro procesa como sonido. Si esta presión variable oscila regularmente a una frecuencia determinada (un número específico de veces por segundo), oímos un tono. Por eso, los tonos (o notas) se miden en hercios (Hz), o ciclos por segundo.

El oído humano es capaz de percibir tonos entre 20 Hz y 20 000 Hz (este rango es único para cada persona y suele disminuir con la edad). Las vibraciones de presión con frecuencias inferiores a 20 Hz o superiores a 20 000 Hz son inaudibles. Se denominan infrasonidos y ultrasonidos, respectivamente. No los oímos, pero podemos percibirlos: mediante el tacto en el caso de los infrasonidos y mediante la temperatura en el caso de los ultrasonidos.

Las principales características del sonido son:

Volumen, intensidad o sonoridad: La potencia de una onda sonora (más fuerte, más potencia; más suave, menos potencia).

Frecuencia o tono: El número de veces que la presión sonora se mueve de un lado a otro en los timbales que escuchamos. Según la teoría musical, algunas de estas frecuencias se denominan notas en el contexto de los sistemas de afinación.

Timbre: Es la característica espectral del sonido, su calidad sonora, su huella digital, una sensación del “color” del sonido. Esto es lo que nos permite distinguir entre una trompeta y una guitarra cuando tocan la misma nota con el mismo volumen. También nos permite distinguir entre nuestras voces humanas.

There are several other characteristics that define sound but these are the main ones we can use in this context. Other characteristics that could be easily employed in a classroom for sonification are:

Duration: How long each sound lasts.

Rhythm: How frequently the sounds repeat and in what pattern. For example, a metronome is a device that produces short, evenly spaced sounds at a set number of beats per minute (BPM). Other devices use this characteristic as a sonification output (Geiger counter - Wikipedia) and parking devices for cars.

3D Positioning: The position of a sound source in space - for example if the sound comes from the left or right speaker in a stereo system. Far more complex but basically the same concept, are the surround systems 5.1 or 7.1 up to ambisonic systems where the position of the sound source can be even more detailed by using multiple channels (Ambisonic reproduction systems - Wikipedia)

Context is important

When designing the output sounds we need to consider what will be the audience of the designed system. In which settings they will listen to its sounds. It is impossible to be sure about it and to know the taste of our target listeners but it is convenient to think about it.

What is the profile of the listener? Are they young students? What type of sound would they be interested in hearing? but also in what kind of sound-producing interaction could they be engaged in, according to their skills and potentials? Do they perceive changes in less evident sound features, (i.e. timbre)?

The sounds we produce must be considered in the context where they will be played. They should be able to capture the listener's attention and emerge from the background noise, and if possible, not be perceived as noise or annoying. For example, mapping all the values of a single variable to all the values of frequency in a certain range may sound unpleasant compared to mapping it onto a familiar music scale, like the chromatic scale in the western world. Or manipulating the speed of a regular beat instead of playing random time durations can be more effective. It depends on the listener's attitude and taste, of course. Additionally, it is important to consider the sound designers’ own taste. It is convenient to consider who will be the listener, but, on the other side, it is not mandatory to produce mainstream sounds in order to please the supposed “common taste”.

Apart from taste and esthetic considerations, we need to consider factual conditions: in the case of background continuous sound as a product of a sonification to monitor some data stream we should therefore take into account the potential listener fatigue to that type of sound. We can consider the difference of using familiar sounds (for example even recorded samples of voices and sentences of the target listeners) compared to new and special digitally synthesized sounds. Designers of sonification systems should at least be be aware of the variety of different impacts that their sounds can have upon the listener (synthesized sounds could surprise!).

We need to assemble a diverse toolkit of musical techniques and resources. Sonification designers should ensure their palette of sounds is as rich and varied as the data they aim to represent.

Quality of Output

Sonification should not only be comprehensible but also engaging, ideally offering information as effectively as, or even more clearly than visual graph. The quality of the sonification is equally important. This includes both the technical excellence of the audio and its "musical narrative" - how well it describes the evolution of the data while remaining aesthetically pleasing. While "pleasantness" is subjective, an appealing sonification helps maintain the listener’s attention and ensures the data is effectively communicated, as discussed in the Context is Important section.

Sonifications can use either physical (natural) or digital sounds, depending on resources and approach. Physical sounds come from acoustic sources like the human body, percussion, or traditional instruments, performed through notation, gestures, or improvisation. Digital sounds, however, are generated or processed using computers, digital audio workstations (DAWs), or electronic devices. While technical details like compression, sample rate, or bit depth influence digital audio quality, the key point is the impact of the playback system: a high-quality sound system (e.g., computer speakers) will deliver a richer experience than a simple buzzer.

Musical Quality

The designer should consider what type of narrative he/she is inducing in the listener. That means for example using low and scary sounds to represent parameters of global warming (A Song of Our Warming Planet or The sound of climate change from the Amazon to the Arctic).  As we want to stimulate the user to pay attention to our system output it can also be useful to have a survey about what type of music the listener appreciates. A generally and initially acceptable musical sound, with the least possible chance of being rejected by the majority of recipients, would be the one that would obey the fundamental principles of symmetry and proportion, as these have shaped our common perception of “music" in today's world. 

However, Soundscapes project encourages every approach on sonification if it satisfies the creator's inspiration or cultural demands as well as the aesthetical or informative needs of the audience, or the target group it is addressed to.  

In the following pages, practical ways to implement the above approaches with or without handling data sets coming either from measurements or from sensors, are entitled as: Unplugged activities, Real-time sonification and a posteriori sonification.

References