Sonification in practice/pt

Na prática, a sonificação para fins educativos é um processo de exploração de todas as possibilidades que, essencialmente, responde à pergunta: «Como posso utilizar o som para destacar ou demonstrar uma ou mais informações ou conclusões decorrentes de um movimento, medição ou fenómeno que exista, tenha ocorrido ou esteja a desenrolar-se ao longo do tempo?» Os dados existentes à nossa disposição, as condições e métodos da sua recolha, bem como o objetivo educativo a que a sonificação se destina, são os fatores determinantes para a sua utilização eficaz.

Os aspetos abaixo definem a relação entre as necessidades educativas e o conceito de som, bem como a sua organização estruturada ao longo do tempo — ou seja, o conceito de música.

Aspectos do ensino da sonificação como prática musical

A ligação indiscutível entre o som e os números — mais concretamente, o conceito de decompor o som em frequências ou harmónicos — proporciona um quadro suficientemente estruturado para o ensino interdisciplinar com recurso ao som, no âmbito do qual todos os aspetos do STEAM podem ser abordados. Uma vez que o conceito de tempo define o fenómeno sonoro, o ato de representação de um efeito sonoro não pode deixar de estar no centro de qualquer abordagem pedagógica. Consequentemente, a disposição organizada de elementos sonoros no tempo de forma harmoniosa — tanto em termos de ritmo, intensidade, timbre, altura e a sua localização na escala musical, seja ela diatónica ou não — constitui um resultado musical. Esta organização racional pode servir como um campo de experimentação na composição musical, enquanto a parametrização de todos os conceitos acima referidos pode enriquecer qualquer objetivo educativo que dependa da evolução de um fenómeno ao longo do tempo ou da conversão de dados em som.

Assim, podemos distinguir, de forma razoável, o conceito de sonificação para fins educativos em três abordagens básicas:

• O simbólico

• A matemática

• O adaptativo

Sonificação simbólica

A reprodução das características sonoras — nomeadamente: altura, intensidade, timbre, frequência de repetição (se for o caso) e duração — que estão associadas a conceitos, termos e grandezas científicas sem estarem logicamente mapeadas para um conjunto de dados (mapeamento de dados) — constitui o objeto da sonificação simbólica.

Um exemplo simples seria «pintar com sons» uma nuvem cinzenta utilizando ruído de baixa frequência e uma nuvem branca utilizando ruído de alta frequência. Outro exemplo seria uma turma de alunos a representar o som da chuva batendo aleatoriamente com as unhas nas secretárias. Outro exemplo que relaciona a composição com a representação musical é o leitmotiv. Um leitmotiv é um tema melódico curto composto por algumas notas específicas que, como um motivo (padrão) único, está associado a uma personagem numa ópera e é tocado pela orquestra, particularmente nas óperas de Wagner. O leitmotiv de uma personagem faz com que esta nos venha à mente ao longo de toda a obra, quer a personagem esteja em cena ou não! Traduzindo isto para uma série de dados, tal leitmotiv poderia substituir o som esperado de um valor baixo ou alto proeminente (ou um valor específico ou mesmo um intervalo de valores) sem ter qualquer coerência ou decorrer dos dados vizinhos.

Sonificação matemática

Quando o tom, a intensidade, o timbre, o ritmo (se houver) e a duração, enquanto características sonoras, são associados a uma série de medições de dados relacionadas com um termo físico ou um conceito científico, formam um mapa lógico de uma ou mais partes dessa série (mapeamento direto de dados). O resultado sonoro dessa correspondência é a sonificação matemática.

Um exemplo que ilustra na perfeição a distinção acima referida, principalmente através da exploração da característica do ritmo, é o mecanismo que indica acusticamente a distância entre um carro e o veículo adjacente durante o estacionamento, uma funcionalidade presente em muitos automóveis. A frequência de repetição deste sinal acústico momentâneo forma um padrão repetitivo cujo ritmo varia (lento-rápido) em função dos dados de proximidade ao obstáculo, que é detetado com elevada precisão por um sensor.

Para compreender a diferença entre representação simbólica e matemática, podemos adaptar os exemplos anteriores como «atividades sem tecnologia» numa sala de aula. A sonificação matemática no exemplo das nuvens ocorreria se definíssemos um limiar de cor para o branco ou o cinzento e representássemos as gotículas que compõem as nuvens com milhões de partículas de frequência de duração mínima (nebulosas sonoras), das quais as nuvens são compostas. No exemplo da chuva, teríamos uma sonificação matemática se os alunos representassem com precisão absoluta, uma a uma, cada gota de chuva num momento específico e numa área de superfície determinada. Por fim, no exemplo do «estacionamento», teríamos uma representação simbólica se os olhos dos alunos assumissem o papel do sensor, onde os dados seriam estimados visualmente sem uma medição matemática absoluta.

Sonificação adaptativa

Trata-se de um projeto sonoro ou de uma composição musical (alargando este conceito), resultante da sonificação matemática, na qual, no entanto, são utilizados de forma criativa métodos de representação sonora estética para atingir objetivos pedagógicos na descrição de conceitos de aprendizagem.

Além disso, a análise dos métodos de mapeamento de dados em conjunto com a escala diatônica abre um campo promissor para a exploração de ferramentas pedagógicas que permitem o processamento do som em termos de composição musical. O uso do MIDI para o processamento de som ou o realce de motivos musicais — que podem servir como ponto de partida para a criação de composições musicais — amplia perfeitamente a sonificação adaptativa. De facto, a representação gráfica dos dados (visualização gráfica) pode ser transformada criativamente em som, tratando a visualização como um esquema bidimensional, ou mesmo uma fotografia como uma imagem tridimensional. O resultado é designado por «sonificação esquemática».

Esta abordagem adaptável alarga o acesso aos resultados auditivos da sonificação de dados a uma vasta gama de faixas etárias e níveis escolares, convidando educadores de outras disciplinas — tais como Arte, Teatro e Música — a participar ativamente no ensino interdisciplinar. Um exemplo desta abordagem foi implementado no cenário «Sounds of the Stars» em colaboração com o Observatório Nacional de Atenas (comunidade: Ήχοι των Άστρων). O cenário faz parte do repositório de cenários de aprendizagem SoundScapes .

O protocolo MIDI. Por que é útil para a sonificação na escola?

O protocolo MIDI, sigla de Musical Instrument Digital Interface, foi introduzido no início dos anos 80 como uma linguagem de programação que permite a interligação entre instrumentos analógicos e, posteriormente, digitais. Esta linguagem interpreta vários aspetos da interpretação musical e da notação musical num formato eletrónico.

O MIDI permite ao utilizador receber, transmitir, armazenar e editar sinais produzidos eletronicamente que correspondem a vários aspetos da música. Os principais parâmetros destes aspetos incluem o início da nota (note-on), o fim da nota (note-off), a velocidade, o timbre e a altura do som. Todos estes parâmetros podem ser armazenados sob a forma de código numa linha temporal dentro de um ficheiro MIDI. Um ficheiro MIDI assemelha-se ao «programa» na forma de um cilindro giratório ou papel perfurado utilizado nas caixas de música do final do século XVIII ou nas «pianolas» do início do século XX, que são autômatos musicais. É esta característica que se pode revelar extremamente útil para fins educativos, uma vez que inúmeras aplicações MIDI, sensores e programas estão amplamente disseminados pela Internet. No entanto, é a capacidade de editar a saída como uma partitura musical ou como parte de uma composição polifónica que torna o MIDI uma ferramenta educativa excepcionalmente poderosa. Nas presentes páginas WIKI, são amplamente apresentados sensores que utilizam MIDI em particular.

Componentes de sonificação

Uma atividade de sonificação consiste na conceção e construção de um sistema de sonificação. Um sistema de sonificação pode ser concretizado de muitas formas diferentes, mas há três componentes que devem ser sempre tidos em conta:

1) DADOS DE ENTRADA;

2) PROTOCOLO DE MAPEAMENTO;

3) SAÍDA DE ÁUDIO;

Dados de entrada

Num sistema de sonificação, que é o nosso produto final, os dados constituem a fonte do motor sonoro, e determinados sons específicos serão o resultado final. As entradas e as saídas são mapeadas entre si seguindo um protocolo que estabelece quais os sons que são reproduzidos em função de quais dados. Por isso, em primeiro lugar, precisamos de conhecer e compreender os dados que pretendemos sonificar. Temos de saber o que queremos transmitir com o nosso sistema — sobre o que vamos falar. Temos de saber como os dados mudam (normalmente temos dados baseados no tempo, mas também podem existir dados com referência espacial, como mapas) e que características do seu comportamento queremos representar. Por exemplo, se tiver um único valor (como a luminosidade de uma estrela, a posição linear de um carro, a quantidade de gostos num canal do YouTube, o número de novas publicações na Wikipédia, etc.), pode optar por reproduzir um som quando esse valor for superior a um determinado valor-limite, ou reproduzir um som que se torne mais alto à medida que os valores aumentam, ou um som quando os valores estão a aumentar ou a diminuir ao longo do tempo. Em alguns casos, é útil determinar o valor mais alto e o mais baixo dentro de todo o intervalo de valores disponíveis. Em termos de saídas, isto pode ajudar a definir um «conjunto» de valores iniciais que pode definir o intervalo de desvios na saída. Podemos destacar certas características dos dados. Existem muitos tipos de dados. Os mais comuns são:

Dados únicos: indicando um estado LIGADO-DESLIGADO (dados booleanos).

Um único valor de dados que abrange um intervalo de valores: normalmente associado a um único som ou característica sonora, como a altura do som, o bpm (batidas por minuto) ou um efeito, mas pode controlar mais do que uma característica ou som ao mesmo tempo.

Dados múltiplos: mais do que um dado do tipo anterior. Normalmente, são recolhidos vários tipos de dados em simultâneo, pelo que estes conjuntos de dados consistem em várias camadas de dados sincronizados.

O som tem a vantagem, em relação à perceção visual, de permitir a perceção simultânea de mais camadas de dados. As alterações nos padrões são mais facilmente detetadas através da audição do que da visão. Especialmente se a quantidade de dados for muito grande. Assim, em suma, precisamos de considerar os dados de que dispomos, a forma como evoluem ao longo do tempo, como estão organizados e quais são os aspetos mais relevantes que pretendemos utilizar para alimentar o nosso sistema de sonificação. Temos de nos perguntar «o que significará o som?» Temos de compreender que os dados não são a mensagem! Temos de metabolizar os dados e o seu comportamento e descobrir que mensagem irá desencadear o som.

E, por isso, antes de mais nada, temos de nos perguntar qual é o objetivo da sonificação? Será aplicada de forma contínua, talvez em segundo plano, ou apenas após algum tempo de recolha de dados, ou ambas as coisas?

Sonificação em tempo real vs. «A posteriori»

De acordo com a finalidade do sistema de sonificação (para analisar ou monitorizar um determinado fenómeno), distinguimos dois «modos»:

Em tempo real (para monitorização) - um fluxo de dados é transformado em som instantaneamente e é emitido um som para indicar o valor e o comportamento dos dados nesse momento específico;

“A posteriori” (analisar) - a sonificação de séries temporais de um conjunto de dados pré-gravados é convertida num ficheiro de áudio que representa os valores e o comportamento dos dados ao longo do período de tempo abrangido pela série temporal.

Estes dois métodos não são mutuamente exclusivos e podem, eventualmente, reproduzir os mesmos sons. A diferença reside no facto de, numa sonificação «a posteriori», uma vez que o som é produzido após os eventos que originaram os dados, os parâmetros da peça final poderem ser adaptados, nomeadamente a duração total. Num caso em tempo real, é possível controlar a resolução temporal: ou seja, o intervalo de tempo em que o som pode mudar e é reproduzido.

Protocolo de mapeamento

O protocolo de mapeamento é o núcleo do sistema de sonificação. É aqui que o conhecimento dos dados de entrada deve ser combinado com a criatividade. De acordo com as suas necessidades pedagógicas, o criador do sistema de sonificação faz escolhas baseadas na sua personalidade e gosto artístico ao traduzir conjuntos de dados em peças sonoras. O protocolo de mapeamento é o processo, algoritmo ou função que associa sons específicos a dados definidos. É o conjunto de regras pelo qual os sons de saída correspondem aos dados de entrada. Um mapeamento simples pode consistir, por exemplo, numa correspondência direta um-para-um entre cada valor de um dado de entrada e um parâmetro de um som de saída, como a altura do som. Esta componente do sistema é fundamental, pois é aqui que o designer do sistema seleciona certas características dos dados para serem reproduzidas de uma forma específica, a fim de as destacar, ou não.

Assim, este mapeamento consiste em associar determinados aspetos dos dados a diferentes parâmetros auditivos, tais como a altura do som, o volume, o timbre e o ritmo. Por exemplo, a amplitude de um som pode ser mapeada para o valor de um fotorresistor, ou a frequência de um som pode ser mapeada para a taxa de variação do nível do mar (marés).

Normalmente, a tendência é associar uma única característica dos dados a um único parâmetro do som de saída; no entanto, nós, seres humanos, somos geralmente mais capazes de perceber diferenças sonoras quando essas diferenças se manifestam simultaneamente através de diferentes propriedades. Por isso, não é má ideia associar a mesma variável a diferentes propriedades psicoacústicas de um som (o tom e o volume são exemplos dos mais evidentes) se quisermos enfatizar a sua variação e dinâmica.

O nosso sentido da audição é capaz de se concentrar num som específico entre muitos outros (ver o «efeito festa de cocktail») com base no timbre. O nosso sistema auditivo consegue processar informação a uma velocidade muito superior à do nosso sistema visual. Por exemplo, enquanto o vídeo é normalmente atualizado a 60 fotogramas por segundo (60 Hz), o áudio padrão é amostrado 44 100 vezes por segundo (44,1 kHz). Isto significa que mesmo um único e breve pico num sinal de áudio — com a duração de apenas uma amostra — é instantaneamente percebido como um «clique» distinto. Como resultado, a audição permite-nos monitorizar múltiplas camadas de informação simultaneamente, muitas vezes de forma mais eficiente do que apenas através da perceção visual .

Saída de áudio

O som emitido pelo sistema será a primeira característica a ser percebida pelo utilizador. É a sua assinatura, o seu carácter. Interagirá com o gosto do utilizador e temos de estar cientes disso. É a embalagem auditiva que será percebida pelo público e, como demonstram os estudos sobre a perceção sonora, provocará de forma imediata e inconsciente uma sensação positiva ou negativa no ouvinte. Devemos, portanto, habituar-nos a produzir saídas de som «agradáveis» com o dispositivo que será utilizado, seja um buzzer de microcontrolador, um sintetizador virtual de PC ou uma DAW (Digital Audio Workstation) ligada a altifalantes. Devemos praticar alguma música, ou pelo menos fazer algum ruído!

Tendo em conta que a perceção sonora se baseia no tempo, a sonificação centra-se, em geral, na representação de fluxos de dados contínuos ao longo do tempo: isto significa que os dados de entrada de um sistema de sonificação podem também provir de outro domínio, como o perfil de um território (dados geográficos), mas todos eles serão transformados numa representação temporal que é o som. O som existe apenas no tempo, como variação de pressão detetada pelos nossos tímpanos e transformada em sinais elétricos no nosso cérebro, ou, de forma mais ampla, no nosso sistema nervoso. Sem nos aprofundarmos num tema tão fascinante, precisamos de esclarecer alguns conceitos antes de prosseguirmos. Mesmo aqueles que nunca tocaram ou criaram música conhecem algumas das características do som que aqui descrevemos.

Música e Som: Conceitos Básicos

O som é detetado pelo nosso cérebro quando uma pressão variável estimula o nosso tímpano. Trata-se de uma pequena membrana que, quando movida pela pressão do ar (ou pela água, caso estejamos debaixo de água), gera estímulos elétricos que o cérebro processa como «som». Se essa pressão variável oscilar regularmente a uma determinada frequência (um determinado número de vezes por segundo), ouvimos um tom. É por isso que os tons (ou notas) são medidos em Hertz (Hz), ou ciclos por segundo.

A audição humana é capaz de perceber sons entre 20 Hz e 20 000 Hz (esta gama é única para cada pessoa e, normalmente, diminui com a idade). As vibrações de pressão com frequências inferiores a 20 Hz ou superiores a 20 000 Hz são inaudíveis. São denominadas, respetivamente, infra-sons e ultra-sons. Não os ouvimos, mas ainda assim conseguimos senti-los, através do sentido do tato no caso dos infra-sons e através do sentido da temperatura no caso dos ultra-sons.

As principais características do som são:

Volume, intensidade ou volume sonoro: A potência de uma onda sonora (quanto mais alto, maior a potência; quanto mais baixo, menor a potência).

Frequência ou tom do som: O número de vezes que a pressão sonora oscila entre os tímpanos dos nossos ouvidos. De acordo com a teoria musical, algumas dessas frequências são designadas por notas no contexto dos sistemas de afinação.

Timbre: É a característica espectral do som, a sua qualidade sonora, a sua «impressão digital», uma sensação da «cor» do som. É isto que nos permite distinguir entre uma trompete e uma guitarra quando tocam a mesma nota com o mesmo volume. Também nos permite distinguir entre as nossas vozes humanas.

Existem várias outras características que definem o som, mas estas são as principais que podemos utilizar neste contexto. Outras características que poderiam ser facilmente utilizadas numa sala de aula para a sonificação são:

Duração: Quanto tempo cada som dura.

Ritmo: A frequência com que os sons se repetem e o padrão que seguem. Por exemplo, um metrónomo é um dispositivo que produz sons curtos e uniformemente espaçados a um número definido de batidas por minuto (BPM). Outros dispositivos utilizam esta característica como saída de sonificação (Contador Geiger - Wikipédia) e em dispositivos de estacionamento para automóveis.

Posicionamento 3D: A posição de uma fonte sonora no espaço — por exemplo, se o som provém do altifalante esquerdo ou direito num sistema estéreo. Muito mais complexos, mas basicamente com o mesmo conceito, são os sistemas surround 5.1 ou 7.1, até aos sistemas ambisônicos, onde a posição da fonte sonora pode ser ainda mais detalhada através da utilização de múltiplos canais (Sistemas de reprodução ambisônicos - Wikipédia)

O contexto é importante

Ao conceber os sons de saída, devemos ter em conta qual será o público do sistema concebido. Em que contextos irão ouvir esses sons. É impossível ter a certeza disso e conhecer os gostos dos nossos ouvintes-alvo, mas é aconselhável refletir sobre o assunto.

Qual é o perfil do ouvinte? Trata-se de jovens estudantes? Em que tipo de som estariam interessados em ouvir? Mas também: em que tipo de interação sonora poderiam envolver-se, de acordo com as suas competências e potencialidades? Percebem alterações em características sonoras menos evidentes (por exemplo, o timbre)?

Os sons que produzimos devem ser considerados no contexto em que serão reproduzidos. Devem ser capazes de captar a atenção do ouvinte e destacar-se do ruído de fundo e, se possível, não devem ser percebidos como ruído ou como algo incómodo. Por exemplo, mapear todos os valores de uma única variável para todos os valores de frequência num determinado intervalo pode soar desagradável, em comparação com o seu mapeamento para uma escala musical familiar, como a escala cromática no mundo ocidental. Ou manipular a velocidade de uma batida regular em vez de reproduzir durações aleatórias pode ser mais eficaz. Depende da atitude e do gosto do ouvinte, claro. Além disso, é importante ter em conta o gosto do próprio designer de som. É conveniente considerar quem será o ouvinte, mas, por outro lado, não é obrigatório produzir sons convencionais para agradar ao suposto «gosto comum».

Para além de considerações de gosto e estética, devemos ter em conta as condições reais: no caso de um som de fundo contínuo, resultante de uma sonificação destinada a monitorizar um fluxo de dados, devemos, portanto, considerar a potencial fadiga do ouvinte face a esse tipo de som. Podemos considerar a diferença entre a utilização de sons familiares (por exemplo, até mesmo amostras gravadas de vozes e frases dos ouvintes-alvo) e sons novos e especiais sintetizados digitalmente. Os designers de sistemas de sonificação devem, no mínimo, estar cientes da variedade de impactos diferentes que os seus sons podem ter sobre o ouvinte (os sons sintetizados podem surpreender!).

Precisamos de reunir um conjunto diversificado de técnicas e recursos musicais. Os designers de sonificação devem garantir que a sua paleta de sons seja tão rica e variada quanto os dados que pretendem representar.

Qualidade do resultado

A sonificação não deve ser apenas compreensível, mas também envolvente, oferecendo, idealmente, informação de forma tão eficaz quanto, ou mesmo mais clara do que, um gráfico visual. A qualidade da sonificação é igualmente importante. Isto inclui tanto a excelência técnica do áudio como a sua «narrativa musical» — a forma como descreve a evolução dos dados, mantendo-se esteticamente agradável. Embora a «agradabilidade» seja subjetiva, uma sonificação apelativa ajuda a manter a atenção do ouvinte e garante que os dados são comunicados de forma eficaz, tal como discutido na secção «O contexto é importante».

As sonificações podem utilizar sons físicos (naturais) ou digitais, dependendo dos recursos e da abordagem. Os sons físicos provêm de fontes acústicas, como o corpo humano, percussão ou instrumentos tradicionais, executados através de notação, gestos ou improvisação. Os sons digitais, no entanto, são gerados ou processados utilizando computadores, estações de trabalho de áudio digital (DAWs) ou dispositivos eletrónicos. Embora detalhes técnicos como a compressão, a taxa de amostragem ou a profundidade de bits influenciem a qualidade do áudio digital, o ponto-chave é o impacto do sistema de reprodução: um sistema de som de alta qualidade (por exemplo, altifalantes de computador) proporcionará uma experiência mais rica do que um simples alarme sonoro.

Qualidade musical

O designer deve ter em conta o tipo de narrativa que está a suscitar no ouvinte. Isso significa, por exemplo, utilizar sons graves e assustadores para representar os parâmetros do aquecimento global (Música do planeta a aquecer ou O som das alterações climáticas da Amazónia ao Ártico); Como queremos estimular o utilizador a prestar atenção à saída do nosso sistema, também pode ser útil realizar um inquérito sobre o tipo de música que o ouvinte aprecia. Um som musical geralmente e inicialmente aceitável, com a menor probabilidade possível de ser rejeitado pela maioria dos destinatários, seria aquele que obedecesse aos princípios fundamentais de simetria e proporção, uma vez que estes moldaram a nossa perceção comum de «música» no mundo atual. 

No entanto, o projeto Soundscapes incentiva todas as abordagens de sonificação, desde que satisfaçam a inspiração do criador ou as exigências culturais, bem como as necessidades estéticas ou informativas do público ou do grupo-alvo a que se destinam.;

Nas páginas seguintes, as formas práticas de implementar as abordagens acima referidas, com ou sem o tratamento de conjuntos de dados provenientes de medições ou de sensores, são intituladas como: Atividades sem equipamento, Sonificação em tempo real e Sonificação a posteriori.