¿Qué es la sonificación?
Cuando emitimos un sonido para comunicar algo, estamos aplicando un sistema de sonificación. Representamos datos en el ámbito auditivo. Convertimos datos en sonidos; estos datos suelen representar cualquier cosa que pueda expresarse en números: una medida física, un concepto, una acción o el seguimiento vectorial de una secuencia de valores procedentes de un sensor. Se han creado muchas definiciones para este proceso denominado sonificación: desde "subtipo de representaciones auditivas que utilizan audio no verbal para representar información", hasta "transformación de relaciones de datos en relaciones percibidas en una señal acústica con el fin de facilitar la comunicación o la interpretación" [1] y, de una manera más definitiva y precisa, "generación de sonido dependiente de datos, si la transformación es sistemática, objetiva y reproducible" [2], y, por último, "técnica de transformación de datos no audibles en sonido que puede ser percibido por el oído humano" [3]. Para simplificarlo en el contexto de este manual, podemos afirmar brevemente que "la sonificación es el proceso de generar sonido a partir de cualquier tipo de datos para representar su información en forma de audio". En términos aún más sencillos, podemos decirle a un estudiante que la sonificación describe los datos con sonido del mismo modo que la visualización lo hace con gráficos, diagramas de flujo, histogramas, etc.
En resumen, queremos combinar datos (entrada) y sonidos (salida), y determinar la forma en que ambos se relacionan (correspondencia o protocolo). Por lo tanto, un sistema de sonificación se define por estas tres partes:
1 - Datos de entrada 2 - Sonidos de salida 3 - Asignación o protocolo
Tipo de datos y uso de la sonificación
La sonificación se utiliza cada vez más como herramienta científica para analizar y supervisar datos de diversos fenómenos, y ha evolucionado especialmente en la comunidad astronómica debido a las grandes cantidades de datos que se generan al observar el cosmos, pero también como herramienta artística y complemento educativo de otras disciplinas como la medicina, las matemáticas, la física, la química, así como la geografía, la economía o incluso la literatura. Por ejemplo, en medicina, los médicos supervisan las reacciones biométricas de los pacientes en tiempo real sin tener que mirar una pantalla. En literatura, se puede crear una representación sonora "a posteriori" (posteriormente) utilizando el número de adjetivos de un libro o el número de veces que aparece una determinada palabra en un artículo. Cualquier tipo de dato está compuesto por números. Y los números pueden generar sonido, ya que la música y el sonido se reducen fundamentalmente a números, en el sentido de que podemos describirlos utilizando números.
Usos de la sonificación
El objetivo de la sonificación es representar, mostrar y compartir datos. Al recurrir al ámbito auditivo, los datos pueden resultar más accesibles y comprensibles para el mayor número posible de usuarios, especialmente para aquellas personas que tienen dificultades para interpretar las representaciones visuales de los datos; además, puede utilizarse para que los datos resulten más atractivos y fáciles de recordar para todo el mundo. La sonificación se puede utilizar en una gran variedad de aplicaciones, como la visualización de datos científicos, la monitorización de condiciones ambientales y la creación de experiencias multimedia interactivas, pero también en la educación, a la hora de involucrar a los estudiantes en la comprensión de un concepto científico utilizando estímulos auditivos en lugar de visuales. A continuación se muestran algunos ejemplos de cómo se utiliza la sonificación en el mundo real: Análisis de datos científicos: La sonificación puede utilizarse para analizar datos que son demasiado complejos o abstractos para ser representados visualmente. Por ejemplo, los científicos han utilizado la sonificación para analizar el comportamiento de los átomos (Los sonidos de los átomos)[4], la actividad de las neuronas en el cerebro (Software interactivo para la sonificación de la actividad neuronal | HAL) [5] , y la evolución de las galaxias (https://chandra.si.edu/sound/gcenter.html). La sonificación también puede aplicarse cuando los datos se registran en una secuencia demasiado densa y, por lo tanto, la manipulación del tiempo permite un escalado audible o transformaciones sonoras en duraciones mayores o menores, como al transformar el sismógrafo de un terremoto en sonido. Monitorización de las condiciones ambientales: La sonificación puede utilizarse para monitorizar las condiciones ambientales en tiempo real, por ejemplo, para monitorizar el sonido del océano con el fin de rastrear cambios en la temperatura del agua y los niveles de contaminación [6] Creación de experiencias multimedia interactivas: La sonificación puede utilizarse para crear experiencias multimedia interactivas que son más inmersivas y atractivas que las interfaces visuales tradicionales. Por ejemplo, la sonificación se ha utilizado para crear mapas interactivos [7], juegos educativos (CosmoBally - Sonokids) y experiencias de realidad virtual.
Real-time sonification vs 'a posteriori'
According to the use of the sonification system (to analyze or to monitor a certain phenomena) we distinguish two “modes”: 1) in real-time (to monitor) - a stream of data is sonifed instantly and a sound is produced to display the value and behavior of the data in that particular moment; 2) “ a posteriori” (to analyze) - time-series sonification of a set of pre-recorded data is converted into an audio file that displays the values and behavior of the data over the period of time covered by the time-series. These two methods are not mutually exclusive and can eventually display the same sounds.The difference is that in “a posteriori”, as the sound is produced after the events that originated the data happened, the parameters of the final piece can be adapted, i.e.the total duration. In a real-time case, you can control the time resolution: that is the time interval at which the sound can change and is played.
Acoustic ecology
The aesthetic is important. A sound can be mapped very precisely but sounds “awful” to the user. This could be considered as a defect and therefore it could limit the efficacy of the system because the user will not bear listening to it. On the other side (i.e. in alarms) the sound can be intentionally noisy and aggressive. The choice of the output sound is in some way artistic in a sense that it must take into consideration the type of audience and its taste. It does not mean that we are obliged to play something that the user will like, but at least be aware of what type of sound is familiar to him/her. Even if the taste is subjective we would like to recall the work done in the field of acoustic ecology. There are some common factors indicated by psychology studies and also cultural models of “beauty”. In the present project, as the name of the project suggests, we reference the work and vision of the Canadian composer Murray Schafer, who popularized the term “soundscape” in the book “The Tuning Of The World” in 1977[8]. Soundscapes can be simply considered as a composition of the anthrophony, geophony and biophony of a particular environment. The author argues that we've become desensitized to the rich sounds of our environment, which he calls the "soundscape." This soundscape encompasses all the natural and human-made sounds that surround us, and Schafer believes we should learn to appreciate and manage it for a better world.His work generated the “acoustic ecology movement” which aims to study the relationship between humans, animals and nature, in terms of sound and soundscapes. The Acoustic Ecology Institute was founded to raise consciousness of the effect of noisy acoustic environments, proven to be harmful for increasing stress levels on individuals when immersed in these.
Examples
SonarX is a software designed to transform images and video into meaningful sound for blind individuals and all[9]. It runs on Pure Data [10] and can be downloaded at this [11] github repository.
Some historic elements
The grades of the musical scale as a sonification of the fundamental ratios (1/2, 2/3, 3/4)
In the strictest sense of the Theory of Harmony in Music, the understanding of the harmonic relationships that govern sounds is rooted in the mathematical ratios that correspond to the dimensions of length, tension, and the natural properties of the materials that produce them[12]. The definition of the overall range and the intervals governing the diatonic scale clearly refers to the fundamental ratios of the Pythagorean “Tetraktys.”
The Ratios
If we calculate the number of parts of the material that are set in motion, that is, if the number “2” corresponds to the two equal parts into which a string is divided to produce the octave (which is again C, as shown in the first column, but sharper), and assuming that 129 pulses are required to produce C (Do), then the table below shows the mapping of notes in the left column and frequencies in the middle column, with the number of parts set in motion in the third column.
The ratio of 1 to 2 (1/2) also gives us the interval ratio of an octave. Based on the corresponding frequency diagram (number of pulses), the corresponding frequency ratio is 129/259. The ratio 2 to 3 (2/3) therefore gives us the interval, which in turn defines the frequency ratio 259/388. The observation, therefore, of ratios that may arise between two, or even more, numerical values of calculation, measurement, or data series logging, can also serve as a stimulus for creating sonification.
The twelve note chromatic scale, the “set theory” and the holistic seraism
The historical concept of “mapping the notes” of the diatonic scale to the sequence of natural numbers dates back as far as the 17th century, however, philosopher and musician Jean-Jacques Rousseau (1712–1778) was the first to formally present this idea in the French Academy of Sciences.
According to this, each successive note of the musical scale can be numbered in the sequence of natural numbers. For example, if we assign A (A in the Latin solfège) the number 1, then we have the following correspondence (correspondence chart):
If the scale is also chromatic, then we can have the following arrangement:
The case of Xenakis’ “Polyagogia”
Iannis Xenakis (1922–2001) was a pioneering architect and composer of the 20th century. The concept of schematic sonification using electronic means, as described above—that is, the conversion of a shape into sound in a manner analogous to the conversion of data into a graph—was studied by Xenakis as early as the 1950s, but it took its final form in the late 1970s. By bypassing the mediation of formal education, Xenakis dared to establish a world of holistic sonic experience as he conceived, designed, and implemented the sonic rendering of graphs in the form of a comprehensive system. This system included an electromagnetic stylus on an architectural design canvas, connected to a computer and speakers; it was named in Greek “Polyagogia” ("Πολυαγωγία", Unité Polyagogique Informatique de CEMAMu/U.P.I.C.) The pedagogical dimension of this connection was emphasized early on by Xenakis. The image below clearly illustrates this connection, as the architectural canvas corresponds to the keys of a piano (vertically on the screen).
The Iannis Xenakis Center (Centre Iannis Xenakis) has developed a modern educational version of UPIC as an application, titled UPISKETCH, which is freely available on this page: https://www.centre-iannis-xenakis.org/upisketch?lang=en
References
- ↑ «The Sonification Report: Status of the Field and Research Agenda», Gregory Kramer, Bruce N. Walker, Terri Bonebright, Perry Cook, John Flowers, Nadine Miner, 1999, International Community for Auditory Display (ICAD)
- ↑ Hermann, T., Walker, B., y Cook, P. R. (2011). Sonification handbook. Springer.
- ↑ Wikipedia, a 9 de abril de 2024
- ↑ " Se ha capturado el sonido de un átomo» (artículo de K 2025) - http://www.themindgap.nl/?p=245
- ↑ Argan Verrier, Vincent Goudard, Elim Hong, Hugues Genevois. Software interactivo para la sonificación de la actividad neuronal. Conferencia sobre Computación Musical y Sonido, AIMI (Associazione Italiana di Informatica Musicale); Conservatorio «Giuseppe Verdi» de Turín, Universidad de Turín, Politécnico de Turín, junio de 2020, Turín (conferencia virtual), Italia. hal-04041917
- ↑ (Sonificación de datos: un aclamado músico transforma datos oceánicos en música) https://www.hubocean.earth/blog/data-sonification a 23 de septiembre de 2024
- ↑ Sonificación 3D interactiva para la exploración de mapas de ciudades | Actas de la 4.ª Conferencia Nórdica sobre Interacción Persona-Ordenador: roles cambiantes
- ↑ Schafer, R. M. (1977). The Tuning of the World. New York: Knopf.
- ↑ S. Cavaco, J.T. Henrique, M. Mengucci, N. Correia, F. Medeiros, Color sonification for the visually impaired, in Procedia Technology, M. M. Cruz-Cunha, J. Varajão, H. Krcmar and R. Martinho (Eds.), Elsevier, volume 9, pages 1048-1057, 2013.
- ↑ http://puredata.info/
- ↑ https://github.com/LabIO/Sonarx-45 as on 23rd September 2024
- ↑ P.Stergiopoulos Music and STEM. Multiple sides of the same coin. International Conference | STE(A)M educators & education. Conference proceedings STEAM on EDU 2021,, p.202-220. ISBN: 978-618-5497-24-8. (Link: https://www.schoolofthefuture.eu/sites/default/files/2026-02/Music%20and%20STEM%20-%20Multiple%20sides%20of%20the%20same%20coin.pdf)