What is sonification/pt

Quando emitimos um som para comunicar algo, estamos a aplicar um sistema de sonificação. Representamos dados no domínio auditivo. Transformamos dados em sons; esses dados podem, geralmente, representar qualquer coisa que possa ser expressa em números: uma medição física, uma noção, uma ação ou uma sequência de valores provenientes de um sensor. Foram criadas muitas definições para este processo denominado sonificação: desde «subtipo de representações auditivas que utilizam áudio não verbal para representar informação», até «transformação de relações de dados em relações percebidas num sinal acústico com o objetivo de facilitar a comunicação ou a interpretação». e, de forma mais definitiva e precisa, «geração de som dependente de dados, desde que a transformação seja sistemática, objetiva e reproduzível» , e, por fim, «técnica de transformar dados não audíveis em som que possa ser captado pelo ouvido humano» . Para simplificar, no contexto deste manual, podemos afirmar resumidamente que «a sonificação é o processo de gerar som a partir de qualquer tipo de dados para representar a informação que estes contêm sob a forma de áudio». Em termos ainda mais simples, podemos explicar a um aluno que a sonificação descreve os dados através do som, tal como a visualização o faz através de gráficos, fluxogramas, histogramas, etc.

Basicamente, queremos combinar dados (entrada) e sons (saída) e definir a forma como estes dois se relacionam (mapeamento ou protocolo). Assim, um sistema de sonificação é definido por estas três partes:

1 - Dados de entrada 2 - Sons de saída 3 - Mapeamento ou protocolo

Tipo de dados e utilização da sonificação

A sonificação é cada vez mais utilizada como ferramenta científica para analisar e monitorizar dados de vários fenómenos, tendo evoluído especialmente na comunidade astronómica devido às grandes quantidades de dados produzidos pela observação do cosmos, mas também como ferramenta artística e complemento educativo para outras disciplinas, como a medicina, a matemática, a física, a química, mas também a geografia, a economia ou mesmo a literatura. Por exemplo, na medicina, os médicos monitorizam as reações biométricas dos pacientes em tempo real sem terem de olhar para um ecrã. Na literatura, é possível criar uma representação áudio «a posteriori» utilizando o número de adjetivos num livro ou o número de vezes que uma determinada palavra aparece num artigo. Qualquer tipo de dados é composto por números. E os números podem desencadear áudio porque a música e o som se resumem fundamentalmente a números, no sentido em que podemos descrevê-los utilizando números.

Aplicações da sonificação

O objetivo da sonificação é representar, apresentar e partilhar dados. Através do campo auditivo, os dados podem tornar-se mais acessíveis e compreensíveis para o maior número possível de utilizadores, especialmente para pessoas que têm dificuldade em compreender representações visuais de dados, podendo também ser utilizada para tornar os dados mais cativantes e memoráveis para todos.

A sonificação pode ser utilizada numa variedade de aplicações, tais como a visualização de dados científicos, a monitorização de condições ambientais e a criação de experiências multimédia interativas, mas também na educação, ao envolver os alunos na conceção de uma noção científica utilizando estímulos áudio em vez de visuais.

Eis alguns exemplos de como a sonificação é utilizada no mundo real:

Análise de dados científicos: A sonificação pode ser utilizada para analisar dados demasiado complexos ou abstratos para serem representados visualmente. Por exemplo, os cientistas têm utilizado a sonificação para analisar o comportamento dos átomos («Os sons dos átomos»), a atividade dos neurónios no cérebro (Software interativo para a sonificação da atividade neuronal | HAL) , e a evolução das galáxias (https://chandra.si.edu/sound/gcenter.html). A sonificação também pode ser aplicada quando os dados são registados numa sequência demasiado densa e, por isso, a manipulação temporal permite o aumento da escala audível ou transformações sonoras em durações maiores ou mais curtas, como por exemplo ao transformar o registo sismográfico de um terramoto em som. Monitorização das condições ambientais: A sonificação pode ser utilizada para monitorizar as condições ambientais em tempo real, por exemplo, para monitorizar o som do oceano a fim de acompanhar alterações na temperatura da água e nos níveis de poluição

Criação de experiências multimédia interativas: a sonificação pode ser utilizada para criar experiências multimédia interativas que são mais imersivas e envolventes do que as interfaces visuais tradicionais. Por exemplo, a sonificação tem sido utilizada para criar mapas interativos , jogos educativos (CosmoBally - Sonokids) e experiências de realidade virtual.

Sonificação em tempo real vs. «a posteriori»

De acordo com a utilização do sistema de sonificação (para analisar ou monitorizar um determinado fenómeno), distinguimos dois «modos»: 1) em tempo real (para monitorizar) — um fluxo de dados é sonificado instantaneamente e é produzido um som para apresentar o valor e o comportamento dos dados nesse momento específico; 2) «a posteriori» (para analisar) — a sonificação de séries temporais de um conjunto de dados pré-gravados é convertida num ficheiro de áudio que apresenta os valores e o comportamento dos dados ao longo do período de tempo abrangido pela série temporal. Estes dois métodos não são mutuamente exclusivos e podem eventualmente apresentar os mesmos sons. A diferença é que no «a posteriori», como o som é produzido após a ocorrência dos eventos que originaram os dados, os parâmetros da peça final podem ser adaptados, ou seja, a duração total. No caso em tempo real, é possível controlar a resolução temporal: ou seja, o intervalo de tempo em que o som pode mudar e é reproduzido.

Ecologia acústica

A estética é importante. Um som pode ser mapeado com grande precisão, mas soar «horrível» para o utilizador. Isto pode ser considerado um defeito e, por conseguinte, limitar a eficácia do sistema, uma vez que o utilizador não suportará ouvi-lo. Por outro lado (por exemplo, nos alarmes), o som pode ser intencionalmente estridente e agressivo. A escolha do som de saída é, de certa forma, artística, no sentido de que deve ter em consideração o tipo de público e o seu gosto. Isso não significa que sejamos obrigados a reproduzir algo de que o utilizador vá gostar, mas, pelo menos, estar cientes do tipo de som que lhe é familiar. Mesmo que o gosto seja subjetivo, gostaríamos de recordar o trabalho realizado no campo da ecologia acústica. Existem alguns fatores comuns indicados por estudos de psicologia e também por modelos culturais de «beleza». No presente projeto, tal como o nome do projeto sugere, fazemos referência ao trabalho e à visão do compositor canadiano Murray Schafer, que popularizou o termo «paisagem sonora» no livro «The Tuning Of The World», em 1977 . As paisagens sonoras podem ser consideradas, em termos simples, como uma composição da antropofonia, da geofonia e da biofonia de um determinado ambiente. O autor defende que nos tornámos insensíveis aos ricos sons do nosso ambiente, a que ele chama de «paisagem sonora». Esta paisagem sonora abrange todos os sons naturais e produzidos pelo homem que nos rodeiam, e Schafer acredita que devemos aprender a apreciá-la e a geri-la para um mundo melhor. O seu trabalho deu origem ao «movimento da ecologia acústica», que visa estudar a relação entre os seres humanos, os animais e a natureza, em termos de som e paisagens sonoras. O Instituto de Ecologia Acústica foi fundado para sensibilizar para o efeito dos ambientes acústicos ruidosos, comprovadamente prejudiciais para o aumento dos níveis de stress nos indivíduos quando imersos neles.

Exemplos

O SonarX é um software concebido para transformar imagens e vídeos em sons significativos para pessoas cegas e todos . Funciona com o Pure Data e pode ser descarregado deste repositório github

Alguns elementos históricos

Os graus da escala musical como sonificação das razões fundamentais (1/2, 2/3, 3/4)

No sentido mais estrito da Teoria da Harmonia na Música, a compreensão das relações harmónicas que regem os sons tem origem nas proporções matemáticas que correspondem às dimensões de comprimento, tensão e às propriedades naturais dos materiais que os produzem . The definition of the overall range and the intervals governing the diatonic scale clearly refers to the fundamental ratios of the Pythagorean “Tetraktys.”

Grades

Os Rácios

Se calcularmos o número de partes do material que são postas em movimento, ou seja, se o número «2» corresponder às duas partes iguais em que uma corda é dividida para produzir a oitava (que é novamente C, como mostrado na primeira coluna, mas mais agudo), e assumindo que são necessários 129 impulsos para produzir o C (Dó), então a tabela abaixo mostra o mapeamento das notas na coluna da esquerda e das frequências na coluna do meio, com o número de partes postas em movimento na terceira coluna.

Notes with frequencies and ratios

Série de harmónicos da nota Dó na coluna da esquerda, frequências no meio e o número de partes postas em movimento (coluna da direita)

The series of harmonics with C as the fundamental

Série de harmónicos na nota Dó na pauta musical

A razão de 1 para 2 (1/2) também nos dá a razão de intervalo de uma oitava. Com base no diagrama de frequências correspondente (número de impulsos), a razão de frequências correspondente é 129/259. A razão de 2 para 3 (2/3) dá-nos, portanto, o intervalo, que por sua vez define a razão de frequências 259/388. A observação, portanto, de razões que possam surgir entre dois, ou mesmo mais, valores numéricos de cálculo, medição ou registo de séries de dados, também pode servir de estímulo para a criação de sonificação.

A escala cromática de doze notas, a «teoria dos conjuntos» e o seraísmo holístico

O conceito histórico de «corresponder as notas» da escala diatônica à sequência dos números naturais remonta ao século XVII; no entanto, foi o filósofo e músico Jean-Jacques Rousseau (1712–1778) o primeiro a apresentar formalmente esta ideia na Academia Francesa de Ciências.

De acordo com isto, cada nota sucessiva da escala musical pode ser numerada na sequência dos números naturais. Por exemplo, se atribuirmos a A (A na solfejo latina) o número 1, temos a seguinte correspondência (tabela de correspondências):

A sonification protocol (note-mapping) using the diatonic scale

Um protocolo de sonificação (mapeamento de notas) utilizando a escala diatônica

Se a escala também for cromática, então podemos ter a seguinte disposição:

A sonification protocol (note-mapping) using the chromatic scale

Um protocolo de sonificação (mapeamento de notas) utilizando a escala cromática

O caso da «Polyagogia» de Xenakis

Iannis Xenakis (1922–2001) foi um arquiteto e compositor pioneiro do século XX. O conceito de sonificação esquemática utilizando meios eletrónicos, tal como descrito acima — ou seja, a conversão de uma forma em som de uma forma análoga à conversão de dados num gráfico — foi estudado por Xenakis já na década de 1950, mas só assumiu a sua forma definitiva no final da década de 1970. Contornando a mediação da educação formal, Xenakis ousou estabelecer um mundo de experiência sonora holística ao conceber, projetar e implementar a representação sonora de gráficos na forma de um sistema abrangente. Este sistema incluía uma agulha eletromagnética sobre uma tela de desenho arquitetónico, ligada a um computador e a altifalantes; foi denominado em grego «Polyagogia» («Πολυαγωγία», Unité Polyagogique Informatique de CEMAMu/U.P.I.C.) A dimensão pedagógica desta ligação foi enfatizada desde cedo por Xenakis. A imagem abaixo ilustra claramente esta ligação, uma vez que a tela arquitetónica corresponde às teclas de um piano (verticalmente no ecrã).

Iannis Xenakis at the Center for Mathematical and Musical Automation explains the basic operation of the Polyagoga to students. CEMAMu (Centre d’Études de Mathématique et Automatique Musicales), likely in the late 1970s

O Centro Iannis Xenakis (Centre Iannis Xenakis) desenvolveu uma versão educativa moderna do UPIC sob a forma de uma aplicação, intitulada UPISKETCH, que está disponível gratuitamente nesta página: https://www.centre-iannis-xenakis.org/upisketch?lang=en