Sonification in practice/es

La sonificación con fines educativos, en la práctica, es un proceso de exploración de todas las posibilidades que responde esencialmente a la pregunta: "¿Cómo puedo utilizar el sonido para resaltar o demostrar una o más informaciones o conclusiones derivadas de un movimiento, una medición o un fenómeno que existe, ha ocurrido o se está desarrollando a lo largo del tiempo?". Los datos existentes a nuestra disposición, las condiciones y los métodos de su recopilación, así como el propósito educativo para el que se destina la sonificación, son los factores determinantes para su uso eficaz.

Los aspectos que se describen a continuación configuran la relación entre las necesidades educativas y el concepto de sonido, así como su organización estructurada a lo largo del tiempo, es decir, el concepto de música.

Aspectos de la enseñanza con la sonificación como práctica musical

La indiscutible conexión entre el sonido y los números —en concreto, el concepto de descomposición del sonido en frecuencias o armónicos— proporciona un marco suficientemente estructurado para la enseñanza interdisciplinaria mediante el sonido, dentro del cual se pueden abordar todos los aspectos de STEAM (Ciencia, Tecnología, Ingeniería, Arte y Matemáticas). Dado que el concepto de tiempo define el fenómeno sonoro, el acto representacional de un efecto de sonido no puede sino estar en el centro de cualquier enfoque pedagógico. En consecuencia, la disposición organizada de los elementos sonoros en el tiempo de forma armoniosa —tanto en términos de ritmo, intensidad, timbre, altura y su ubicación posicional en la escala musical, diatónica o no— constituye un resultado musical. Esta organización racional puede servir como campo de experimentación en la composición musical, mientras que la parametrización de todos los conceptos anteriores puede enriquecer cualquier objetivo educativo que dependa de la evolución de un fenómeno a lo largo del tiempo o de la conversión de datos en sonido.

Por lo tanto, podemos distinguir razonablemente el concepto de sonificación con fines educativos en tres enfoques básicos:

• El simbólico

• El matemático

• El adaptativo

Sonificación simbólica

La reproducción de las características del sonido, a saber: tono, intensidad, timbre, frecuencia de repetición (si la hay) y duración —que están vinculadas a conceptos, términos y cantidades científicas sin estar asignadas lógicamente a un conjunto de datos (mapeo de datos)— constituye el objeto de la sonificación simbólica.

Un ejemplo sencillo sería “pintar con sonido” una nube gris usando ruido de baja frecuencia y una nube blanca usando ruido de alta frecuencia. Otro ejemplo sería una clase de estudiantes representando el sonido de la lluvia golpeando aleatoriamente sus uñas contra sus pupitres. Otro ejemplo que relaciona la composición con la representación musical es el leitmotiv. Un leitmotiv es un tema melódico breve que consta de unas pocas notas específicas que, como motivo (patrón) único, se asocia con un personaje de una ópera y es interpretado por la orquesta, particularmente en las óperas de Wagner. El leitmotiv de un personaje lo evoca a lo largo de toda la obra, ¡tanto si el personaje está en escena como si no! Trasladando esto a una serie de datos, dicho leitmotiv podría reemplazar el sonido esperado de un valor bajo o alto prominente (o un valor específico o incluso un rango de valores) sin tener ninguna coherencia ni surgir de los datos vecinos.

Sonificación matemática

Cuando el tono, la intensidad, el timbre, el ritmo (si lo hay) y la duración, como características del sonido, se relacionan con una serie de mediciones de datos vinculadas a un término físico o un concepto científico, forman un mapa lógico de una o más partes de dicha serie (mapeo directo de datos). El resultado sonoro de esta correspondencia es la sonificación matemática.

Un ejemplo que ilustra perfectamente la distinción anterior, principalmente mediante el uso del ritmo, es el mecanismo de indicación sonora de la distancia entre un coche y el que está a su lado al aparcar, una función presente en muchos vehículos. La frecuencia de repetición de esta señal acústica momentánea forma un patrón repetitivo cuyo ritmo varía (lento-rápido) en función de la proximidad al obstáculo, que es detectada con gran precisión por un sensor.

Para comprender la diferencia entre representación simbólica y matemática, podemos adaptar los ejemplos anteriores como actividades sin conexión en el aula. En el ejemplo de las nubes, la sonificación matemática se produciría si definiéramos un umbral de color para el blanco o el gris y representáramos las gotitas que las componen con millones de partículas de frecuencia de duración mínima (nebulosas sonoras). En el ejemplo de la lluvia, tendríamos una sonificación matemática si los estudiantes representaran con absoluta precisión, una por una, cada gota de lluvia en un momento y área específicos. Finalmente, en el ejemplo del estacionamiento, tendríamos una representación simbólica si los ojos de los estudiantes asumieran el rol de sensor, donde los datos se estimarían visualmente sin una medición matemática absoluta.

Sonificación adaptativa

Se trata de un diseño sonoro o composición musical (ampliando este concepto), resultante de la sonificación matemática en la que, sin embargo, se utilizan de forma creativa métodos de representación estética del sonido para cumplir los objetivos de enseñanza al describir conceptos de aprendizaje.

Además, el análisis de los métodos de mapeo de datos junto con la escala diatónica abre un campo fructífero para explorar herramientas didácticas que permitan procesar el sonido en términos de composición musical. El uso de MIDI para el procesamiento del sonido o el resaltado de motivos musicales —que pueden servir como punto de partida para la creación de composiciones musicales— amplía perfectamente la sonificación adaptativa. De hecho, la representación gráfica de datos (visualización gráfica) puede transformarse creativamente en sonido al tratar la visualización como un esquema bidimensional, o incluso una fotografía como una imagen tridimensional. El resultado se conoce como "sonificación esquemática".

Este enfoque adaptable amplía el acceso al resultado auditivo de la sonificación de datos a una amplia gama de grupos de edad y niveles educativos, invitando a educadores de otras disciplinas, como Arte, Teatro y Música, a participar activamente en la enseñanza interdisciplinaria. Un ejemplo de este enfoque se ha implementado en el escenario "Sonidos de las Estrellas" en colaboración con el Observatorio Nacional de Atenas (comunidad: Ήχοι των Άστρων). Este escenario forma parte del repositorio de escenarios de aprendizaje SoundScapes .

El protocolo MIDI. ¿Por qué es útil para la sonorización en la escuela?

El protocolo MIDI (Interfaz Digital para Instrumentos Musicales) se introdujo a principios de los años 80 como un lenguaje de máquina que permitía la interconexión de instrumentos analógicos y, posteriormente, digitales. Este lenguaje interpreta diversos aspectos de la interpretación y la notación musical en formato electrónico.

MIDI permite al usuario recibir, transmitir, almacenar y editar señales producidas electrónicamente que corresponden a diversos aspectos de la música. Los parámetros principales de estos aspectos incluyen el inicio y el final de las notas, la velocidad, el timbre y el tono. Todos estos parámetros se pueden almacenar como código en forma de línea de tiempo dentro de un archivo MIDI. Un archivo MIDI se asemeja al "programa" en forma de cilindro giratorio o papel perforado, como los que se usaban en las cajas de música de finales del siglo XVIII o en los pianolas de principios del siglo XX, que eran autómatas musicales. Esta característica puede resultar enormemente útil con fines educativos, ya que numerosas aplicaciones, sensores y programas MIDI están ampliamente difundidos por internet.

Sin embargo, es la capacidad de editar la salida como partitura musical o como parte de una composición polifónica lo que convierte a MIDI en una herramienta educativa excepcionalmente potente. En las presentes páginas de la wiki se muestran ampliamente sensores que utilizan MIDI.

Componentes de sonificación

Una actividad de sonificación consiste en el diseño y la construcción de un sistema de sonificación. Un sistema de sonificación se puede lograr de muchas maneras diferentes, pero siempre se deben considerar 3 componentes:

1) DATOS DE ENTRADA;

2) PROTOCOLO DE MAPEO;

3) SALIDA DE AUDIO;

Datos de entrada

En un sistema de sonificación, que es nuestro producto final, los datos son la fuente del motor de sonido, y ciertos sonidos específicos serán la salida. Las entradas y salidas se mapean entre sí siguiendo un protocolo que establece qué sonidos se reproducen según qué datos. Por lo tanto, primero necesitamos conocer y comprender los datos que queremos sonorizar. Debemos saber qué queremos expresar con nuestro sistema, de qué hablaremos. Debemos saber cómo cambian los datos (generalmente tenemos datos basados ​​en el tiempo, pero también puede haber datos con referencia espacial, como mapas) y qué características de su comportamiento queremos representar. Por ejemplo, si tenemos un solo valor (como la luminosidad de una estrella, la posición lineal de un automóvil, la cantidad de "me gusta" en un canal de YouTube, el número de nuevas publicaciones en Wikipedia, etc.), podemos elegir reproducir un sonido cuando este valor sea mayor que un cierto umbral, o reproducir un sonido que aumente de volumen a medida que los valores aumentan, o un sonido cuando los valores aumentan o disminuyen con el tiempo. En algunos casos, es útil determinar el valor más alto y el más bajo dentro de todo el rango de valores disponibles. En términos de resultados, esto puede ayudar a definir un “contenedor” de valores iniciales que pueden definir el rango de desviaciones en el resultado. Podemos resaltar ciertas características de los datos. Existen muchos tipos de datos. Los más comunes son:

Datos únicos: que indican un estado ON-OFF (datos booleanos).

Un único valor de datos que abarca un rango de valores: normalmente se asigna a un único sonido o característica de sonido, como el tono, o bpm (pulsaciones por minuto), o un efecto, pero puede controlar más de una característica o sonido a la vez.

Datos múltiples: más de un dato del tipo anterior. Por lo general, se recopilan muchos tipos de datos al mismo tiempo, por lo que estos conjuntos de datos constan de varias capas de datos sincronizados.

El sonido tiene la ventaja sobre la percepción visual de que permite percibir más capas de datos simultáneamente. Los cambios en los patrones se detectan con mayor facilidad al escuchar que al observar, especialmente si la cantidad de datos es muy grande. En resumen, debemos considerar los datos que tenemos, cómo evolucionan con el tiempo, cómo están organizados y cuáles son las partes más relevantes que queremos utilizar para alimentar nuestro sistema de sonorización. Debemos preguntarnos: "¿Qué significará el sonido?". ¡Es fundamental comprender que los datos no son el mensaje! Debemos analizar los datos y su comportamiento para descubrir qué mensaje activará el sonido.

Por lo tanto, antes de esto debemos preguntarnos cuál es el propósito de la sonificación. ¿Se aplicará de forma continua, tal vez en segundo plano, o solo después de un tiempo de recopilación de datos, o ambas cosas?

Sonificación en tiempo real frente a “A posteriori”

Según el uso del sistema de sonificación (para analizar o monitorizar un determinado fenómeno) distinguimos dos “modos”:

En tiempo real (para monitorizar): un flujo de datos se sonoriza instantáneamente y se produce un sonido para mostrar el valor y el comportamiento de los datos en ese momento en particular;

“A posteriori” (para analizar) - la sonificación de series temporales de un conjunto de datos pregrabados se convierte en un archivo de audio que muestra los valores y el comportamiento de los datos durante el período de tiempo cubierto por la serie temporal.

Estos dos métodos no son mutuamente excluyentes y pueden, en última instancia, generar los mismos sonidos. La diferencia radica en que, en una sonificación a posteriori, dado que el sonido se produce después de los eventos que originaron los datos, se pueden adaptar los parámetros de la pieza final, como la duración total. En un caso de tiempo real, se puede controlar la resolución temporal: es decir, el intervalo de tiempo en el que el sonido puede cambiar y reproducirse.

Protocolo de mapeo

El protocolo de mapeo es el núcleo del sistema de sonificación. Aquí es donde el conocimiento de los datos de entrada debe combinarse con la creatividad. De acuerdo con sus necesidades formativas, el creador del sistema de sonificación toma decisiones basadas en su carácter y gusto artístico para traducir conjuntos de datos en piezas sonoras. El protocolo de mapeo es el proceso, algoritmo o función que asocia sonidos específicos a datos definidos. Es el conjunto de reglas mediante las cuales los sonidos de salida se corresponden con los datos de entrada. Un mapeo simple puede consistir, por ejemplo, en una correspondencia directa uno a uno entre cada valor de un dato de entrada y un parámetro de un sonido de salida, como el tono. Este componente del sistema es clave porque es aquí donde el diseñador del sistema selecciona ciertas características de los datos para reproducirlas de una manera particular, con el fin de resaltarlas o no.

Este mapeo consiste en asociar ciertos aspectos de los datos a diferentes parámetros auditivos, como el tono, la intensidad, el timbre y el ritmo. Por ejemplo, la amplitud de un sonido se puede relacionar con el valor de una resistencia de luz, o la frecuencia de un sonido con la tasa de cambio del nivel del mar (mareas).

Por lo general, la tendencia es asociar una única característica de los datos a un único parámetro del sonido de salida, pero los humanos solemos percibir mejor las diferencias sonoras si estas se manifiestan simultáneamente a través de distintas propiedades. Por lo tanto, no es mala idea asociar la misma variable a diferentes propiedades psicoacústicas del sonido (el tono y el volumen, por ejemplo) si queremos resaltar su variación y dinámica.

Nuestro sentido del oído es capaz de enfocarse en un sonido particular entre muchos otros (ver el “efecto cóctel”) basado en el timbre. Nuestro sistema auditivo puede procesar información a una velocidad mucho mayor que nuestro sistema visual. Por ejemplo, mientras que el video normalmente se actualiza a 60 fotogramas por segundo (60 Hz), el audio estándar se muestrea a 44.100 veces por segundo (44,1 kHz). Esto significa que incluso un solo pico breve en una señal de audio, que dura solo una muestra, se percibe instantáneamente como un “clic” distinto. Como resultado, la audición nos permite monitorear múltiples capas de información simultáneamente, a menudo de manera más eficiente que a través de la percepción visual sola <ref>Kramer, G., Walker, B. N., Bonebright, T., Cook, P., Flowers, J., Miner, N., et al. (1999). El Informe de Sonificación: Estado del Campo y Agenda de Investigación. Informe preparado para la Fundación Nacional de Ciencias por miembros de la Comunidad Internacional para la Visualización Auditiva. Santa Fe, NM: Comunidad Internacional para la Visualización Auditiva (ICAD).

Salida de audio

El sonido de salida del sistema será la primera característica que perciba el usuario. Es su sello distintivo, su esencia. Interactuará con el gusto del usuario y debemos tenerlo en cuenta. Es la experiencia auditiva que percibe el público y, como demuestran los estudios sobre percepción del sonido, provocará de forma inmediata e inconsciente una sensación agradable o desagradable en el oyente. Por lo tanto, debemos acostumbrarnos a producir sonidos agradables con el dispositivo que utilicemos, ya sea un zumbador con microcontrolador, un sintetizador virtual para PC o una estación de trabajo de audio digital (DAW) conectada a altavoces. ¡Deberíamos practicar algo de música, o al menos hacer algo de ruido!

Considerando que la percepción del sonido se basa en el tiempo, la sonificación se centra principalmente en la representación de un flujo continuo de datos a lo largo del tiempo: esto significa que los datos de entrada de un sistema de sonificación también podrían provenir de otro dominio, como el perfil de un territorio (datos geográficos), pero todos ellos se transferirán a una representación temporal que es el sonido. El sonido existe solo en el tiempo, como una variación de presión detectada por nuestros tímpanos y transformada en señales eléctricas en nuestro cerebro, o en términos generales, en nuestro sistema nervioso. Sin profundizar en un tema tan fascinante, necesitamos aclarar un par de conceptos antes de continuar. Incluso aquellos que nunca han tocado ni creado música conocen algunas de las características del sonido que describimos aquí.

Música y sonido: conceptos básicos

El cerebro detecta el sonido cuando una presión variable estimula nuestros tímpanos. Se trata de una pequeña membrana que, al moverse por la presión del aire (o del agua si nos encontramos bajo el agua), genera estímulos eléctricos que el cerebro procesa como sonido. Si esta presión variable oscila regularmente a una frecuencia determinada (un número específico de veces por segundo), oímos un tono. Por eso, los tonos (o notas) se miden en hercios (Hz), o ciclos por segundo.

El oído humano es capaz de percibir tonos entre 20 Hz y 20 000 Hz (este rango es único para cada persona y suele disminuir con la edad). Las vibraciones de presión con frecuencias inferiores a 20 Hz o superiores a 20 000 Hz son inaudibles. Se denominan infrasonidos y ultrasonidos, respectivamente. No los oímos, pero podemos percibirlos: mediante el tacto en el caso de los infrasonidos y mediante la temperatura en el caso de los ultrasonidos.

Las principales características del sonido son:

Volumen, intensidad o sonoridad: La potencia de una onda sonora (más fuerte, más potencia; más suave, menos potencia).

Frecuencia o tono: El número de veces que la presión sonora se mueve de un lado a otro en los timbales que escuchamos. Según la teoría musical, algunas de estas frecuencias se denominan notas en el contexto de los sistemas de afinación.

Timbre: Es la característica espectral del sonido, su calidad sonora, su huella digital, una sensación del “color” del sonido. Esto es lo que nos permite distinguir entre una trompeta y una guitarra cuando tocan la misma nota con el mismo volumen. También nos permite distinguir entre nuestras voces humanas.

Existen otras características que definen el sonido, pero estas son las principales que podemos utilizar en este contexto. Otras características que podrían emplearse fácilmente en un aula para la sonificación son:

Duración: Cuánto dura cada sonido.

Ritmo: Con qué frecuencia se repiten los sonidos y en qué patrón. Por ejemplo, un metrónomo es un dispositivo que produce sonidos cortos y uniformemente espaciados a un número fijo de pulsaciones por minuto (ppm). Otros dispositivos utilizan esta característica como salida de sonorización (Contador Geiger - Wikipedia) y dispositivos de estacionamiento para automóviles.

Posicionamiento 3D: La posición de una fuente de sonido en el espacio; por ejemplo, si el sonido proviene del altavoz izquierdo o derecho en un sistema estéreo. Mucho más complejos, pero con un concepto básicamente similar, son los sistemas de sonido envolvente 5.1 o 7.1, hasta los sistemas ambisónicos, donde la posición de la fuente de sonido puede ser aún más precisa mediante el uso de múltiples canales (Sistemas de reproducción ambisónica - Wikipedia).

El contexto es importante

Al diseñar los sonidos de salida, debemos considerar quién será el público objetivo del sistema. ¿En qué contexto escucharán esos sonidos? Si bien es imposible saber con certeza los gustos de nuestros oyentes, conviene tenerlos en cuenta.

¿Cuál es el perfil del oyente? ¿Son estudiantes jóvenes? ¿Qué tipo de sonido les interesaría escuchar? ¿Y en qué tipo de interacción sonora podrían participar, según sus habilidades y potencialidades? ¿Perciben cambios en características sonoras menos evidentes (por ejemplo, el timbre)?

Los sonidos que producimos deben considerarse en el contexto en el que se reproducirán. Deben captar la atención del oyente y destacarse del ruido de fondo, y, de ser posible, no percibirse como ruido o molestia. Por ejemplo, asignar todos los valores de una sola variable a todos los valores de frecuencia en un rango determinado puede resultar desagradable en comparación con asignarlos a una escala musical familiar, como la escala cromática occidental. O bien, manipular la velocidad de un ritmo regular en lugar de reproducir duraciones aleatorias puede ser más efectivo. Depende, por supuesto, de la actitud y el gusto del oyente. Además, es importante considerar el gusto de los propios diseñadores de sonido. Es conveniente tener en cuenta quién será el oyente, pero, por otro lado, no es obligatorio producir sonidos comerciales para complacer el supuesto "gusto común".

Más allá de las consideraciones estéticas y de gusto, debemos tener en cuenta las condiciones prácticas: en el caso del sonido continuo de fondo, producto de la sonificación para monitorizar un flujo de datos, debemos considerar la posible fatiga auditiva que este tipo de sonido puede provocar. Podemos analizar la diferencia entre utilizar sonidos familiares (por ejemplo, grabaciones de voces y frases de los oyentes objetivo) y sonidos nuevos y específicos sintetizados digitalmente. Los diseñadores de sistemas de sonificación deberían, como mínimo, ser conscientes de la variedad de impactos que sus sonidos pueden tener en el oyente (¡los sonidos sintetizados podrían resultar sorprendentes!).

Necesitamos reunir un conjunto diverso de técnicas y recursos musicales. Los diseñadores de sonorización deben asegurarse de que su paleta de sonidos sea tan rica y variada como los datos que pretenden representar.

Calidad del resultado

La sonificación no solo debe ser comprensible, sino también atractiva, ofreciendo idealmente información con la misma eficacia o incluso mayor claridad que un gráfico visual. La calidad de la sonificación es igualmente importante. Esto incluye tanto la excelencia técnica del audio como su "narrativa musical": la forma en que describe la evolución de los datos sin perder su atractivo estético. Si bien la «agradabilidad» es subjetiva, una sonificación atractiva ayuda a mantener la atención del oyente y garantiza que los datos se comuniquen eficazmente, como se explica en la sección "El contexto es importante".

Las sonorizaciones pueden utilizar sonidos físicos (naturales) o digitales, según los recursos y el enfoque. Los sonidos físicos provienen de fuentes acústicas como el cuerpo humano, la percusión o los instrumentos tradicionales, interpretados mediante notación, gestos o improvisación. Los sonidos digitales, en cambio, se generan o procesan mediante ordenadores, estaciones de trabajo de audio digital (DAW) o dispositivos electrónicos. Si bien detalles técnicos como la compresión, la frecuencia de muestreo o la profundidad de bits influyen en la calidad del audio digital, el factor clave es el impacto del sistema de reproducción: un sistema de sonido de alta calidad (por ejemplo, altavoces de ordenador) ofrece una experiencia más rica que un simple zumbador.

Calidad musical

El diseñador debe considerar qué tipo de narrativa está induciendo en el oyente. Esto significa, por ejemplo, usar sonidos graves y aterradores para representar parámetros del calentamiento global (A Song of Our Warming Planet o The sound of climate change from the Amazon to the Arctic). Como queremos estimular al usuario a prestar atención a la salida de nuestro sistema, también puede ser útil realizar una encuesta sobre qué tipo de música aprecia el oyente. Un sonido musical generalmente aceptable y con la menor probabilidad de ser rechazado por la mayoría de los receptores sería aquel que obedeciera a los principios fundamentales de simetría y proporción, ya que estos han moldeado nuestra percepción común de "música" en el mundo actual.

Sin embargo, el proyecto Soundscapes fomenta cualquier enfoque de sonificación que satisfaga la inspiración o las exigencias culturales del creador, así como las necesidades estéticas o informativas del público o del grupo objetivo al que va dirigido.

En las páginas siguientes, se presentan formas prácticas de implementar los enfoques anteriores con o sin el manejo de conjuntos de datos provenientes de mediciones o sensores, titulados como: Actividades sin conexión, Sonificación en tiempo real y Sonificación a posteriori.