Sonificação na prática

Na prática, a sonificação para fins educativos é um processo de exploração de todas as possibilidades que, essencialmente, responde à pergunta: «Como posso utilizar o som para destacar ou demonstrar uma ou mais informações ou conclusões decorrentes de um movimento, medição ou fenómeno que exista, tenha ocorrido ou esteja a desenrolar-se ao longo do tempo?» Os dados existentes à nossa disposição, as condições e métodos da sua recolha, bem como o objetivo educativo a que a sonificação se destina, são os fatores determinantes para a sua utilização eficaz.

Os aspetos abaixo definem a relação entre as necessidades educativas e o conceito de som, bem como a sua organização estruturada ao longo do tempo — ou seja, o conceito de música.

Aspectos do ensino da sonificação como prática musical

A ligação indiscutível entre o som e os números — mais concretamente, o conceito de decompor o som em frequências ou harmónicos — proporciona um quadro suficientemente estruturado para o ensino interdisciplinar com recurso ao som, no âmbito do qual todos os aspetos do STEAM podem ser abordados. Uma vez que o conceito de tempo define o fenómeno sonoro, o ato de representação de um efeito sonoro não pode deixar de estar no centro de qualquer abordagem pedagógica. Consequentemente, a disposição organizada de elementos sonoros no tempo de forma harmoniosa — tanto em termos de ritmo, intensidade, timbre, altura e a sua localização na escala musical, seja ela diatónica ou não — constitui um resultado musical. Esta organização racional pode servir como um campo de experimentação na composição musical, enquanto a parametrização de todos os conceitos acima referidos pode enriquecer qualquer objetivo educativo que dependa da evolução de um fenómeno ao longo do tempo ou da conversão de dados em som.

Assim, podemos distinguir, de forma razoável, o conceito de sonificação para fins educativos em três abordagens básicas:

• O simbólico

• A matemática

• O adaptativo

Sonificação simbólica

A reprodução das características sonoras — nomeadamente: altura, intensidade, timbre, frequência de repetição (se for o caso) e duração — que estão associadas a conceitos, termos e grandezas científicas sem estarem logicamente mapeadas para um conjunto de dados (mapeamento de dados) — constitui o objeto da sonificação simbólica.

Um exemplo simples seria «pintar com sons» uma nuvem cinzenta utilizando ruído de baixa frequência e uma nuvem branca utilizando ruído de alta frequência. Outro exemplo seria uma turma de alunos a representar o som da chuva batendo aleatoriamente com as unhas nas secretárias. Outro exemplo que relaciona a composição com a representação musical é o leitmotiv. Um leitmotiv é um tema melódico curto composto por algumas notas específicas que, como um motivo (padrão) único, está associado a uma personagem numa ópera e é tocado pela orquestra, particularmente nas óperas de Wagner. O leitmotiv de uma personagem faz com que esta nos venha à mente ao longo de toda a obra, quer a personagem esteja em cena ou não! Traduzindo isto para uma série de dados, tal leitmotiv poderia substituir o som esperado de um valor baixo ou alto proeminente (ou um valor específico ou mesmo um intervalo de valores) sem ter qualquer coerência ou decorrer dos dados vizinhos.

Sonificação Matemática

Quando o tom, a intensidade, o timbre, o ritmo (se houver) e a duração, enquanto características sonoras, são associados a uma série de medições de dados relacionadas com um termo físico ou um conceito científico, formam um mapa lógico de uma ou mais partes dessa série (mapeamento direto de dados). O resultado sonoro dessa correspondência é a sonificação matemática.

Um exemplo que ilustra na perfeição a distinção acima referida, principalmente através da exploração da característica do ritmo, é o mecanismo que indica acusticamente a distância entre um carro e o veículo adjacente durante o estacionamento, uma funcionalidade presente em muitos automóveis. A frequência de repetição deste sinal acústico momentâneo forma um padrão repetitivo cujo ritmo varia (lento-rápido) em função dos dados de proximidade ao obstáculo, que é detetado com elevada precisão por um sensor.

Para compreender a diferença entre representação simbólica e matemática, podemos adaptar os exemplos anteriores como «atividades sem tecnologia» numa sala de aula. A sonificação matemática no exemplo das nuvens ocorreria se definíssemos um limiar de cor para o branco ou o cinzento e representássemos as gotículas que compõem as nuvens com milhões de partículas de frequência de duração mínima (nebulosas sonoras), das quais as nuvens são compostas. No exemplo da chuva, teríamos uma sonificação matemática se os alunos representassem com precisão absoluta, uma a uma, cada gota de chuva num momento específico e numa área de superfície determinada. Por fim, no exemplo do «estacionamento», teríamos uma representação simbólica se os olhos dos alunos assumissem o papel do sensor, onde os dados seriam estimados visualmente sem uma medição matemática absoluta.

Sonificação adaptativa

Trata-se de um projeto sonoro ou de uma composição musical (alargando este conceito), resultante da sonificação matemática, na qual, no entanto, são utilizados de forma criativa métodos de representação sonora estética para atingir objetivos pedagógicos na descrição de conceitos de aprendizagem.

Além disso, a análise dos métodos de mapeamento de dados em conjunto com a escala diatônica abre um campo promissor para a exploração de ferramentas pedagógicas que permitem o processamento do som em termos de composição musical. O uso do MIDI para o processamento de som ou o realce de motivos musicais — que podem servir como ponto de partida para a criação de composições musicais — amplia perfeitamente a sonificação adaptativa. De facto, a representação gráfica dos dados (visualização gráfica) pode ser transformada criativamente em som, tratando a visualização como um esquema bidimensional, ou mesmo uma fotografia como uma imagem tridimensional. O resultado é designado por «sonificação esquemática».

Esta abordagem adaptável alarga o acesso aos resultados auditivos da sonificação de dados a uma vasta gama de faixas etárias e níveis escolares, convidando educadores de outras disciplinas — tais como Arte, Teatro e Música — a participar ativamente no ensino interdisciplinar. Um exemplo desta abordagem foi implementado no cenário «Sounds of the Stars» em colaboração com o Observatório Nacional de Atenas (comunidade: Ήχοι των Άστρων). O cenário faz parte do repositório de cenários de aprendizagem SoundScapes .

O protocolo MIDI. Por que é útil para a sonificação na escola?

O protocolo MIDI, sigla de Musical Instrument Digital Interface, foi introduzido no início dos anos 80 como uma linguagem de programação que permite a interligação entre instrumentos analógicos e, posteriormente, digitais. Esta linguagem interpreta vários aspetos da interpretação musical e da notação musical num formato eletrónico.

O MIDI permite ao utilizador receber, transmitir, armazenar e editar sinais produzidos eletronicamente que correspondem a vários aspetos da música. Os principais parâmetros destes aspetos incluem o início da nota (note-on), o fim da nota (note-off), a velocidade, o timbre e a altura do som. Todos estes parâmetros podem ser armazenados sob a forma de código numa linha temporal dentro de um ficheiro MIDI. Um ficheiro MIDI assemelha-se ao «programa» na forma de um cilindro giratório ou papel perfurado utilizado nas caixas de música do final do século XVIII ou nas «pianolas» do início do século XX, que são autômatos musicais. É esta característica que se pode revelar extremamente útil para fins educativos, uma vez que inúmeras aplicações MIDI, sensores e programas estão amplamente disseminados pela Internet. No entanto, é a capacidade de editar a saída como uma partitura musical ou como parte de uma composição polifónica que torna o MIDI uma ferramenta educativa excepcionalmente poderosa. Nas presentes páginas WIKI, são amplamente apresentados sensores que utilizam MIDI em particular.

Componentes de sonificação

Uma atividade de sonificação consiste na conceção e construção de um sistema de sonificação. Um sistema de sonificação pode ser concretizado de muitas formas diferentes, mas há três componentes que devem ser sempre tidos em conta:

1) DADOS DE ENTRADA;

2) PROTOCOLO DE MAPEAMENTO;

3) SAÍDA DE ÁUDIO;

Dados de entrada

Num sistema de sonificação, que é o nosso produto final, os dados constituem a fonte do motor sonoro, e determinados sons específicos serão o resultado final. As entradas e as saídas são mapeadas entre si seguindo um protocolo que estabelece quais os sons que são reproduzidos em função de quais dados. Por isso, em primeiro lugar, precisamos de conhecer e compreender os dados que pretendemos sonificar. Temos de saber o que queremos transmitir com o nosso sistema — sobre o que vamos falar. Temos de saber como os dados mudam (normalmente temos dados baseados no tempo, mas também podem existir dados com referência espacial, como mapas) e que características do seu comportamento queremos representar. Por exemplo, se tiver um único valor (como a luminosidade de uma estrela, a posição linear de um carro, a quantidade de gostos num canal do YouTube, o número de novas publicações na Wikipédia, etc.), pode optar por reproduzir um som quando esse valor for superior a um determinado valor-limite, ou reproduzir um som que se torne mais alto à medida que os valores aumentam, ou um som quando os valores estão a aumentar ou a diminuir ao longo do tempo. Em alguns casos, é útil determinar o valor mais alto e o mais baixo dentro de todo o intervalo de valores disponíveis. Em termos de saídas, isto pode ajudar a definir um «conjunto» de valores iniciais que pode definir o intervalo de desvios na saída. Podemos destacar certas características dos dados. Existem muitos tipos de dados. Os mais comuns são:

Dados únicos: indicando um estado LIGADO-DESLIGADO (dados booleanos).

Um único valor de dados que abrange um intervalo de valores: normalmente associado a um único som ou característica sonora, como a altura do som, o bpm (batidas por minuto) ou um efeito, mas pode controlar mais do que uma característica ou som ao mesmo tempo.

Dados múltiplos: mais do que um dado do tipo anterior. Normalmente, são recolhidos vários tipos de dados em simultâneo, pelo que estes conjuntos de dados consistem em várias camadas de dados sincronizados.

O som tem a vantagem, em relação à perceção visual, de permitir a perceção simultânea de mais camadas de dados. As alterações nos padrões são mais facilmente detetadas através da audição do que da visão. Especialmente se a quantidade de dados for muito grande. Assim, em suma, precisamos de considerar os dados de que dispomos, a forma como evoluem ao longo do tempo, como estão organizados e quais são os aspetos mais relevantes que pretendemos utilizar para alimentar o nosso sistema de sonificação. Temos de nos perguntar «o que significará o som?» Temos de compreender que os dados não são a mensagem! Temos de metabolizar os dados e o seu comportamento e descobrir que mensagem irá desencadear o som.

E, por isso, antes de mais nada, temos de nos perguntar qual é o objetivo da sonificação? Será aplicada de forma contínua, talvez em segundo plano, ou apenas após algum tempo de recolha de dados, ou ambas as coisas?

Sonificação em tempo real vs. «A posteriori»

De acordo com a finalidade do sistema de sonificação (para analisar ou monitorizar um determinado fenómeno), distinguimos dois «modos»:

Em tempo real (para monitorização) - um fluxo de dados é transformado em som instantaneamente e é emitido um som para indicar o valor e o comportamento dos dados nesse momento específico;

“A posteriori” (analisar) - a sonificação de séries temporais de um conjunto de dados pré-gravados é convertida num ficheiro de áudio que representa os valores e o comportamento dos dados ao longo do período de tempo abrangido pela série temporal.

Estes dois métodos não são mutuamente exclusivos e podem, eventualmente, reproduzir os mesmos sons. A diferença reside no facto de, numa sonificação «a posteriori», uma vez que o som é produzido após os eventos que originaram os dados, os parâmetros da peça final poderem ser adaptados, nomeadamente a duração total. Num caso em tempo real, é possível controlar a resolução temporal: ou seja, o intervalo de tempo em que o som pode mudar e é reproduzido.

Protocolo de mapeamento

O protocolo de mapeamento é o núcleo do sistema de sonificação. É aqui que o conhecimento dos dados de entrada deve ser combinado com a criatividade. De acordo com as suas necessidades pedagógicas, o criador do sistema de sonificação faz escolhas baseadas na sua personalidade e gosto artístico ao traduzir conjuntos de dados em peças sonoras. O protocolo de mapeamento é o processo, algoritmo ou função que associa sons específicos a dados definidos. É o conjunto de regras pelo qual os sons de saída correspondem aos dados de entrada. Um mapeamento simples pode consistir, por exemplo, numa correspondência direta um-para-um entre cada valor de um dado de entrada e um parâmetro de um som de saída, como a altura do som. Esta componente do sistema é fundamental, pois é aqui que o designer do sistema seleciona certas características dos dados para serem reproduzidas de uma forma específica, a fim de as destacar, ou não.

Assim, este mapeamento consiste em associar determinados aspetos dos dados a diferentes parâmetros auditivos, tais como a altura do som, o volume, o timbre e o ritmo. Por exemplo, a amplitude de um som pode ser mapeada para o valor de um fotorresistor, ou a frequência de um som pode ser mapeada para a taxa de variação do nível do mar (marés).

Normalmente, a tendência é associar uma única característica dos dados a um único parâmetro do som de saída; no entanto, nós, seres humanos, somos geralmente mais capazes de perceber diferenças sonoras quando essas diferenças se manifestam simultaneamente através de diferentes propriedades. Por isso, não é má ideia associar a mesma variável a diferentes propriedades psicoacústicas de um som (o tom e o volume são exemplos dos mais evidentes) se quisermos enfatizar a sua variação e dinâmica.

O nosso sentido da audição é capaz de se concentrar num som específico entre muitos outros (ver o «efeito festa de cocktail») com base no timbre. O nosso sistema auditivo consegue processar informação a uma velocidade muito superior à do nosso sistema visual. Por exemplo, enquanto o vídeo é normalmente atualizado a 60 fotogramas por segundo (60 Hz), o áudio padrão é amostrado 44 100 vezes por segundo (44,1 kHz). Isto significa que mesmo um único e breve pico num sinal de áudio — com a duração de apenas uma amostra — é instantaneamente percebido como um «clique» distinto. Como resultado, a audição permite-nos monitorizar múltiplas camadas de informação simultaneamente, muitas vezes de forma mais eficiente do que apenas através da perceção visual .

Saída de áudio

O som emitido pelo sistema será a primeira característica a ser percebida pelo utilizador. É a sua assinatura, o seu carácter. Interagirá com o gosto do utilizador e temos de estar cientes disso. É a embalagem auditiva que será percebida pelo público e, como demonstram os estudos sobre a perceção sonora, provocará de forma imediata e inconsciente uma sensação positiva ou negativa no ouvinte. Devemos, portanto, habituar-nos a produzir saídas de som «agradáveis» com o dispositivo que será utilizado, seja um buzzer de microcontrolador, um sintetizador virtual de PC ou uma DAW (Digital Audio Workstation) ligada a altifalantes. Devemos praticar alguma música, ou pelo menos fazer algum ruído!

Considering that sound perception is time-based, sonification is by and large focused on rendering continuous data stream over time: this means that the input data of a sonification system could be also come from another domain, like the profile of a territory (geographical data) but all of them will be transferred onto a representation in time which is sound. Sound exists only in time, as variation of pressure detected by our eardrums and transformed into electrical signals in our brain, or broadly in our nervous system. Without getting into the depth of such a fascinating subject we need to clarify a couple of concepts before we move on. Even those who never played or created music know some of the characteristics of sound that we describe here.

Music and Sound: Basic Concepts

Sound is detected by our brain when a variable pressure stimulates our timpani. This is a small membrane that when moved by air pressure (or water if you find yourself under water) generates electrical stimuli that the brain processes as “sound”. If this variable pressure is oscillating regularly at a certain frequency (a certain number of times per second) we hear a tone. That is why tones (or notes) are measured in Hertz (Hz), or cycles per second.

The human hearing is able to sense tones between 20 Hz and 20000 Hz (this range is unique to each one and usually gets smaller with age). The vibrations of pressure with frequencies lower than 20 Hz or higher than 20000 Hz are inaudible. They are called infrasounds and ultrasounds respectively. We do not hear them but we still can sense them, with the touch sense in the case of infrasound and with temperature sense in the case of ultrasound.

The main characteristics of sound are:

Volume or Intensity or loudness: The power of a soundwave (louder more power, softer less power).

Frequency or pitch: The number of times the sound pressure moves back and forth the timpani in our ears. According to music theory some of these frequencies are called notes in the context of tuning systems.

Timbre: Is the spectral characteristic of sound, its sound quality, its fingerprint, a sense of the “color” of the sound. This is what allows us to distinguish between a trumpet or a guitar when they are playing the same note with the same volume. It also allows us to distinguish between our human voices.

There are several other characteristics that define sound but these are the main ones we can use in this context. Other characteristics that could be easily employed in a classroom for sonification are:

Duration: How long each sound lasts.

Rhythm: How frequently the sounds repeat and in what pattern. For example, a metronome is a device that produces short, evenly spaced sounds at a set number of beats per minute (BPM). Other devices use this characteristic as a sonification output (Geiger counter - Wikipedia) and parking devices for cars.

3D Positioning: The position of a sound source in space - for example if the sound comes from the left or right speaker in a stereo system. Far more complex but basically the same concept, are the surround systems 5.1 or 7.1 up to ambisonic systems where the position of the sound source can be even more detailed by using multiple channels (Ambisonic reproduction systems - Wikipedia)

Context is important

When designing the output sounds we need to consider what will be the audience of the designed system. In which settings they will listen to its sounds. It is impossible to be sure about it and to know the taste of our target listeners but it is convenient to think about it.

What is the profile of the listener? Are they young students? What type of sound would they be interested in hearing? but also in what kind of sound-producing interaction could they be engaged in, according to their skills and potentials? Do they perceive changes in less evident sound features, (i.e. timbre)?

The sounds we produce must be considered in the context where they will be played. They should be able to capture the listener's attention and emerge from the background noise, and if possible, not be perceived as noise or annoying. For example, mapping all the values of a single variable to all the values of frequency in a certain range may sound unpleasant compared to mapping it onto a familiar music scale, like the chromatic scale in the western world. Or manipulating the speed of a regular beat instead of playing random time durations can be more effective. It depends on the listener's attitude and taste, of course. Additionally, it is important to consider the sound designers’ own taste. It is convenient to consider who will be the listener, but, on the other side, it is not mandatory to produce mainstream sounds in order to please the supposed “common taste”.

Apart from taste and esthetic considerations, we need to consider factual conditions: in the case of background continuous sound as a product of a sonification to monitor some data stream we should therefore take into account the potential listener fatigue to that type of sound. We can consider the difference of using familiar sounds (for example even recorded samples of voices and sentences of the target listeners) compared to new and special digitally synthesized sounds. Designers of sonification systems should at least be be aware of the variety of different impacts that their sounds can have upon the listener (synthesized sounds could surprise!).

We need to assemble a diverse toolkit of musical techniques and resources. Sonification designers should ensure their palette of sounds is as rich and varied as the data they aim to represent.

Quality of Output

Sonification should not only be comprehensible but also engaging, ideally offering information as effectively as, or even more clearly than visual graph. The quality of the sonification is equally important. This includes both the technical excellence of the audio and its "musical narrative" - how well it describes the evolution of the data while remaining aesthetically pleasing. While "pleasantness" is subjective, an appealing sonification helps maintain the listener’s attention and ensures the data is effectively communicated, as discussed in the Context is Important section.

Sonifications can use either physical (natural) or digital sounds, depending on resources and approach. Physical sounds come from acoustic sources like the human body, percussion, or traditional instruments, performed through notation, gestures, or improvisation. Digital sounds, however, are generated or processed using computers, digital audio workstations (DAWs), or electronic devices. While technical details like compression, sample rate, or bit depth influence digital audio quality, the key point is the impact of the playback system: a high-quality sound system (e.g., computer speakers) will deliver a richer experience than a simple buzzer.

Musical Quality

The designer should consider what type of narrative he/she is inducing in the listener. That means for example using low and scary sounds to represent parameters of global warming (A Song of Our Warming Planet or The sound of climate change from the Amazon to the Arctic).  As we want to stimulate the user to pay attention to our system output it can also be useful to have a survey about what type of music the listener appreciates. A generally and initially acceptable musical sound, with the least possible chance of being rejected by the majority of recipients, would be the one that would obey the fundamental principles of symmetry and proportion, as these have shaped our common perception of “music" in today's world. 

However, Soundscapes project encourages every approach on sonification if it satisfies the creator's inspiration or cultural demands as well as the aesthetical or informative needs of the audience, or the target group it is addressed to.  

In the following pages, practical ways to implement the above approaches with or without handling data sets coming either from measurements or from sensors, are entitled as: Unplugged activities, Real-time sonification and a posteriori sonification.

References