Real-time sonification/es

La sonificación en tiempo real es una técnica fascinante que puede fomentar la participación de los estudiantes en las áreas STEAM (Ciencia, Tecnología, Ingeniería, Arte y Matemáticas). Esto significa que, debido a la velocidad del proceso, no podemos percibir el intervalo de tiempo entre la adquisición de datos y el sonido producido por el dispositivo de sonificación. Además, los métodos para crear representaciones sonoras de los datos se definen simultáneamente con la recopilación de datos (en tiempo real).

Antes de comenzar, queremos enfatizar que la calidad del sonido, que es subjetiva y por lo tanto depende del gusto del usuario, debe ser tal que al menos no lo moleste. Por el contrario, si fuera lo suficientemente atractivo como para captar su atención, mejor. Por otro lado, al intentar hacer algo "agradable" existe el riesgo de generar resultados de sonido que no cumplan con el objetivo de describir adecuadamente el comportamiento de los datos de entrada. Por lo tanto, es necesario encontrar un compromiso: el sonido debe ser suficientemente agradable y, a la vez, exhaustivamente informativo.

Dispositivos de sonificación en tiempo real

El microcontrolador BBC micro:bit

Para crear un dispositivo de sonificación en tiempo real, es útil utilizar un microcontrolador. Estos son como "computadoras pequeñas y sencillas" con una sola unidad de procesamiento. Sin embargo, no son computadoras propiamente dichas. Su arquitectura es mucho más simple y no pueden ejecutar un sistema operativo. Aun así, se pueden programar para ejecutar un único programa a la vez, el cual puede realizar múltiples tareas de forma secuencial, según el orden de las instrucciones del programa. Existen varios tipos de microcontroladores, siendo Arduino (arduino.cc) el más popular.

Para empezar, el proyecto SoundScapes sugiere usar el microcontrolador BBC micro:bit. Esta herramienta es muy sencilla de usar, versátil e incluye varios sensores integrados listos para usar, lo que elimina la necesidad de construir un circuito eléctrico específico para su funcionamiento. El micro:bit se puede programar en línea con Makecode (usando el navegador Chrome para una mejor compatibilidad) en Python, JavaScript o bloques.

Sonificación con micro:bit

Antes de adentrarte en la sonorización con micro:bit, primero debes familiarizarte con el entorno de programación Makecode [1]. En la página principal encontrarás varios tutoriales, como el del "Corazón parpadeante" y el de la "Etiqueta de nombre", entre los que puedes elegir para empezar. Si te registras en la plataforma, tus proyectos se guardarán en tu cuenta y podrás acceder a ellos desde cualquier dispositivo siempre que inicies sesión. De lo contrario, se guardarán como cookies; sin embargo, podrías perderlos si borras la caché de tu navegador.

Conceptos de sonido en micro:bit

En el editor Makecode [2], existe una útil y atractiva biblioteca dedicada a la música, especialmente para jóvenes estudiantes. Esta biblioteca [3] ofrece varios comandos/bloques que facilitan la generación de sonidos y la creación de melodías. Hay muchos bloques y combinaciones de bloques que puedes usar para generar diferentes tipos de sonidos. Aquí te presentamos los bloques más básicos y avanzamos hacia ejemplos más complejos. Es un buen ejercicio experimentar con los diferentes bloques y escuchar lo que sucede para familiarizarte con ellos.

Generar un solo tono

El siguiente código genera un tono único con una frecuencia predefinida de Do central y una duración de 1 tiempo al presionar el botón A, o un sonido continuo de Mi central al presionar el botón B. Es posible cambiar la frecuencia de los tonos haciendo clic en los campos de entrada blancos con los valores "Do central" y "Mi central". Desde las flechas del menú desplegable, también es posible cambiar la duración del tiempo del tono "Do central" y si el sonido se reproduce secuencialmente con otros bloques de comandos, en segundo plano o en bucle. .

Tocar una melodía

Para reproducir una melodía, utilice el siguiente bloque y haga clic en él para crearla:

El siguiente código de ejemplo reproduce dos melodías con diferentes valores de BPM para los botones A y B, y detiene todos los sonidos cuando se presionan A y B simultáneamente. Es posible cambiar las melodías haciendo clic en los campos de entrada blancos con las notas musicales de colores. Al igual que en el ejemplo anterior, también es posible cambiar la duración del ritmo y si el sonido se reproduce secuencialmente con otros bloques de comandos, en segundo plano o en bucle .

Manipular el cambio de frecuencia, la forma de onda, el volumen y la duración

También es posible generar sonidos más complejos manipulando el cambio de frecuencia, la forma de onda, el volumen y la duración con el siguiente bloque:

El siguiente ejemplo reproduce dos sonidos complejos secuencialmente de forma indefinida :

Sonificación de un booleano

En informática, un tipo de dato booleano, o lógico, es una primitiva fundamental que puede contener uno de dos valores posibles: verdadero o falso, representados a menudo como 1 o 0. Para ilustrar este concepto, sonorizaremos el tipo de dato más simple: el booleano. Algunos ejemplos comunes de sensores que generan datos booleanos son los sensores de presencia, los sensores de contacto, los interruptores y los botones.

A continuación se implementa la sonorización de un sensor booleano utilizando el micro:Bit, centrándonos específicamente en el botón A. Al pulsar el botón, oiremos la nota C, y al soltarlo, la nota cambiará a F. Esta retroalimentación auditiva proporciona una representación clara del estado del botón, lo que mejora nuestra comprensión de los datos booleanos en un contexto práctico .

Explicación detallada del código:

Los bloques se evalúan secuencialmente de arriba a abajo dentro del bloque de bucle forever que repite la siguiente secuencia de evaluación hasta que algo detiene el programa:

1. Asigna a la variable X el estado del botón (verdadero o falso según si el botón se presionó al momento de evaluar el bloque rosa botón A presionado).
2. Si la variable/condición X es verdadera (el botón se presionó), tono de llamada (Hz) Do central, tono de llamada (Hz) Mi central

Sonificación de un rango de valores (usando sensores de entrada)

La mayoría de los sensores proporcionan un rango de valores, no solo 0 o 1. En ese caso, primero debemos determinar los valores mínimo y máximo posibles antes de definir la configuración para la sonorización. Esta entrada variable del sensor puede provenir del sensor de nivel de luz, el acelerómetro, el magnetómetro, la intensidad del sonido captado por el micrófono u otros sensores conectados al micro:bit mediante los pines. El microcontrolador puede recopilar fácilmente estos datos.

Cambiar el tono con ritmo fijo

En este ejemplo, mostramos cómo asignar el nivel de luz a un rango de frecuencias. El sensor de luz interno del micro:bit proporciona un valor entre 0 (oscuro) y 255 (muy brillante). Llamamos a este valor de entrada variable x. También definimos las variables x-Min y x-Max con los valores mínimo y máximo de nuestro sensor. Para sonorizar el nivel de luz medido, asignaremos el valor del nivel de luz a un tono entre 200 Hz (valor mínimo) y 2000 Hz (valor máximo), reproducido a un ritmo fijo .

Explicación detallada del código:

Los bloques dentro del bloque on start se evalúan secuencialmente antes que cualquier otra cosa en el programa cuando se enciende el micro:bit.

1. Establece la variable x-Min al valor mínimo posible de nivel de luz medido 0.

1. Establece la variable x-Max al valor máximo posible de nivel de luz medido 255.

Los bloques dentro del bloque forever se evalúan secuencialmente en un bucle de arriba a abajo después de la secuencia on start:

1. Establece la variable x al nivel de luz medido.
2. Reproduce un tono de un tiempo con una frecuencia resultante de asignar el valor x (en el rango x-Mín a x-Máx) al rango de frecuencia seleccionado en el bloque map.

Cambiar el ritmo con tono fijo

Otra opción es mantener un tono fijo mientras se varía el ritmo según el nivel de luz. Esto se logra reproduciendo una nota de corta duración e introduciendo pausas que varían en duración, desde 1000 ms (en condiciones de oscuridad) hasta 20 ms (en condiciones de mucha luz). Este enfoque permite una representación auditiva dinámica de los cambios en los niveles de luz.

Explicación detallada del código:

Los bloques dentro del bloque on start se evalúan secuencialmente antes que cualquier otra cosa en el programa cuando se enciende el micro:bit.

1. Establece la variable x-Min al valor mínimo posible de nivel de luz medido 0.

1. Establece la variable x-Max al valor máximo posible de nivel de luz medido 255.

Los bloques dentro del bloque forever se evalúan secuencialmente en un bucle de arriba a abajo después de la secuencia on start:

1. Asigna a la variable x el valor medido de nivel de luz.
2. Reproduce un tono de Re agudo de un tiempo.
3. Haz una pausa durante un periodo calculado al asignar el valor de x (en el rango x-Mín a x-Máx) al intervalo de tiempo seleccionado en el bloque map.

Recordatorio: Puedes reemplazar el bloque de entrada nivel de luz con cualquier otro sensor de micro:bit input block (o cualquier otro sensor conectado a la micro:bit a través de los pines) que proporcione un rango de valores. Solo asegúrate de redefinir los valores x-Min y x-Max en consecuencia, ya que el accelerometer y la compass dirección, por ejemplo, funcionan en un rango diferente.

Uso de sensores de entrada externos

Para usar un sensor digital/analógico externo en un micro pin o usar, por ejemplo, el protocolo I2C (todos estos bloques se pueden encontrar en las categorías avanzadas), puede usar los mismos programas, pero simplemente reemplace el bloque de entrada nivel de luz con el bloque correspondiente de la siguiente manera:

PIN de lectura digital

Pin de lectura analógica

i2c

¡Atención al número PIN o a la dirección I2C!

Múltiples entradas asignadas a un solo sonido

Los sistemas de sonificación suelen proporcionar más de una información. Podemos mapear tantas variables como parámetros de sonido podamos controlar, siempre y cuando el sonido no resulte confuso debido a la reproducción simultánea de múltiples capas sonoras. Si consideramos que una orquesta filarmónica puede tener más de cien integrantes, disponemos de cierto margen para superponer varios sonidos. Esto contrasta con los estímulos visuales, donde no podemos superar un número determinado, generalmente inferior al de los estímulos auditivos. Finalmente, al igual que en la orquesta, los sonidos deben organizarse cuidadosamente en conjunto cuando se trata de un gran número de ellos.

Lo siguiente sonoriza el nivel de luz mapeado a la médula con una pausa definida por el rumbo de la brújula mapeado a milisegundos .

La extensión de sonorización SoundScapes para micro:bit

En todos los ejemplos anteriores, los números se asignaron a un rango continuo de frecuencias, ¡lo cual es genial! Pero, ¿suena atractivo? Para mejorar la experiencia auditiva, puedes asignar números a una escala musical. La extensión de sonificación SoundScapes para MakeCode micro:bit [4] facilita este tipo de asignación.

A continuación se muestra cómo instalar la extensión:

Instalar la extensión del registrador de datos

Mapear y reproducir directamente desde un sensor micro:bit

Para mapear y reproducir directamente desde un sensor de micro:bit, puedes usar el siguiente bloque con un menú desplegable para seleccionar el sensor. El rango de entrada se selecciona automáticamente para que coincida con los valores mínimo y máximo que pueden obtenerse de los sensores de micro:bit.

Aunque el trabajo duro se realiza entre bastidores, esto hace que sea más difícil para ti innovar en sonificación :)

Este ejemplo es equivalente al ejemplo de sonificación en tiempo real que utiliza la función map de sonificación para un solo valor, como se muestra a continuación.

Mapear y reproducir un único valor en una escala musical

La función map devuelve un número entero que corresponde a una escala musical específica en un número determinado de octavas, en un rango específico. Por ejemplo, el siguiente ejemplo asigna el valor light level del rango [0,255] a Do mayor central en 1 octava y lo reproduce durante 500 ms indefinidamente:

También se pueden usar otros sensores (incluidos sensores externos conectados mediante pines a la micro:bit) y diferentes rangos de entrada. Esto resulta útil para la sonificación en tiempo real, donde se procesan los datos simultáneamente a su recopilación.

Por ejemplo, el siguiente ejemplo asigna el valor del nivel de luz en el rango [0,255] a Do mayor central en 1 octava y lo reproduce durante 500 ms indefinidamente:

También se pueden usar otros sensores (incluidos sensores externos conectados mediante pines a la micro:bit) y diferentes rangos de entrada. Esto resulta útil para la sonificación en tiempo real, donde se procesan los datos simultáneamente a su recopilación.

Mapear y reproducir a escala personalizada

Puedes crear fácilmente tus propias escalas musicales con matrices y usarlas como entrada para las funciones de mapeo, que te permitirán reproducir cualquier valor numérico en tu escala personalizada. La matriz de entrada debe contener las relaciones de frecuencia con respecto a la frecuencia fundamental.

Por ejemplo, el siguiente código asigna el valor nivel de luz en el rango [0,255] al armónico de Do central en 1 octava y lo reproduce durante 500 ms:

donde armónico es una matriz de números que contiene las relaciones de frecuencia de la escala armónica. Dado que cada tono en la escala armónica está exactamente a una octava del tono anterior, cambiar el número de octava en este caso particular simplemente ampliará el rango de la serie armónica.

Sonificación mediante MIDI (El micro:bit como instrumento MIDI)

El sonido que produce el altavoz (zumbador) del micro:bit tiene poca potencia y no reproduce frecuencias bajas. El micro:bit también tiene una capacidad muy limitada para generar varios sonidos simultáneamente y sonidos con timbres más complejos. En el último ejemplo, utilizamos un truco para sonorizar valores de múltiples entradas. Usamos la pausa (duración del silencio entre sonidos consecutivos) como salida de sonorización. Es ingenioso, pero lo que realmente nos gustaría es que varios sonidos se reprodujeran simultáneamente y expresaran varias capas de datos. Podemos obtener una mejor calidad de sonido y tocar más instrumentos al mismo tiempo usando el protocolo MIDI.

MIDI is a protocol that facilitates real-time communication between electronic musical instruments. MIDI stands for Musical Instrument Digital Interface and it was developed in the early ’80s for storing, editing, processing, and reproducing sequences of digital events connected to sound-producing electronic instruments, especially those using the 88-note chromatic compass of a piano-keyboard. We can roughly, but easily, understand MIDI as the advanced successor of the “piano rolls”, which, more than a century ago, were perforated papers or pinned cylinders, in which music performances were either recorded (in real-time) or notated (in step time). These paper-rolls were then played automatically by specially designed mechanical instruments, the mechanical pianos (pianolas) or music machines, using them as their “program”.

Configurar el MIDI

El siguiente vídeo explica en detalle cómo conectar el micro:bit a tu DAW (estación de trabajo de audio digital) o sintetizador digital mediante MIDI en Windows:

Instrucciones paso a paso (ver el vídeo):

1. Instala la extensión MIDI [5] para Makecode.

1. Crea un programa [6] muy básico usando la extensión MIDI para probar la configuración.

1. Instala Hairless MIDI, ábrelo y, en el menú desplegable de puerto serie, selecciona el puerto COM (puerto USB) al que está conectada la micro:bit.

1. Instala loopMIDI, ábrelo y haz clic en el botón '+ en la esquina inferior izquierda para crear un nuevo puerto virtual.

1. Vuelve a la ventana de HairlessMIDI y, en el menú desplegable de salida MIDI, selecciona puerto loopMIDI.
2. Es posible que tengas que desconectar y volver a conectar la micro:bit para que funcione.
3. ¡Estás listo para jugar!

Cómo funciona: El micro:bit envía mensajes MIDI mediante comunicación serial. Estos mensajes son recibidos por Hairless MIDI, que los reenvía a LoopMIDI. LoopMIDI, que actúa como un puerto MIDI virtual, hace que los mensajes MIDI sean accesibles para software informático o aplicaciones web (como estaciones de trabajo de audio digital o sintetizadores digitales) que reciben estos mensajes y generan los sonidos correspondientes, completando así la conexión.

Existen numerosas estaciones de trabajo de audio digital (DAW) gratuitas (y algunas de código abierto y multiplataforma) como LMMS que puedes descargar y configurar para reproducir entrada MIDI. El método más sencillo es reproducir directamente desde el navegador mediante una aplicación web como midi.city, Online Sequencer y muchas otras que puedes encontrar en línea. En principio, aplicaciones web como midi.city detectarán fácilmente tu instrumento MIDI (el micro:bit en este caso) y podrás empezar a reproducir tras otorgar al navegador los permisos necesarios para acceder a tu dispositivo (lo cual se te solicitará).

MIDI es una herramienta poderosa para la sonorización, ya que permite controlar una amplia gama de parámetros de sonido, como el tono, el volumen y el timbre. Esta configuración permite que varios Micro:bit envíen datos MIDI a un solo sintetizador, posibilitando la sonorización sincronizada de múltiples flujos de datos. También permite que un solo micro:bit envíe datos MIDI a través de múltiples canales MIDI.

Nota: En Linux, instale ttymidi en lugar de hairlesMIDI y loopMIDI.

Datos del sensor a través de MIDI

Los ejemplos anteriores que utilizan datos de sensores se pueden adaptar para enviar datos a través de MIDI con la extensión MIDI de Makecode, lo que significa que los sonidos se reproducirán no en el micro:bit sino a través de un software/aplicación web de computadora configurado correctamente. El siguiente ejemplo asigna el nivel de luz a notas MIDI y las envía a través del canal MIDI 1 .

Explicación detallada del código:

Los bloques dentro del bloque on start se evalúan secuencialmente antes que cualquier otra cosa en el programa cuando se enciende el micro:bit.

1. Muestra un elegante icono de nota musical en la pantalla LED para que se vea mejor.

1. Asigna la variable Instrument_1 al canal MIDI 1. Por lo tanto, cualquier cambio en la variable Instrument_1 se aplicará al canal MIDI 1. # midi use raw serial permite que la micro:bit se comunique con el dispositivo de salida MIDI.

Los bloques dentro del bloque forever se evalúan secuencialmente en un bucle de arriba a abajo después de la secuencia on start:

1. Asigna una nota MIDI a la variable Note mapeando el rango de valores posibles de light level al rango MIDI seleccionado de 40 a 85 (entre 0 y 128) mediante el bloque map.

1. Establece el volumen de Instrument_1 (en el canal MIDI 1) a 100.
2. Reproduce la nota MIDI Note (nivel de luz medido mapeado a MIDI) con Instrument_1 (en el canal MIDI 1).

1. Pausa de 250 ms.

1. Deja de reproducir la nota MIDI Note.

1. Pausa de 100 ms.

Uso de múltiples canales MIDI

Este ejemplo asigna el nivel de luz a MIDI y utiliza múltiples canales MIDI, lo que permite elegir reproducir las notas con un botón o agitando el micro:bit .

Explicación detallada del código:

La lógica de este ejemplo es muy similar a la del anterior. Sin embargo, se ha añadido un canal MIDI adicional, el 10 (que podría haber sido cualquier otro número entre 1 y 16), configurado como variable Instrumento_2 al inicio. Por lo tanto, cualquier cambio en esta variable se traduce en acciones sobre el canal MIDI 10. La asignación del nivel de luz al MIDI se mantiene dentro del bucle, pero los bloques relacionados con Instrumento_1 y las pausas se han trasladado al bloque de entrada al pulsar el botón B. El bloque de entrada al agitar simplemente repite el mismo código para Instrumento_2. Cabe destacar que, al reproducir una nota, independientemente del instrumento seleccionado, aparece y desaparece una nota musical de la pantalla LED.