What is sonification/el

Όταν παράγουμε έναν ήχο για να ενημερώσουμε για κάτι, εφαρμόζουμε ένα σύστημα ηχοποίησης. Αναπαριστούμε δεδομένα στον ακουστικό χώρο. Μετατρέπουμε τα δεδομένα σε ήχους, τα οποία συνήθως μπορούν να αντιπροσωπεύουν οτιδήποτε μπορεί να εκφραστεί με αριθμούς: μια φυσική μέτρηση, μια έννοια, μια ενέργεια ή την διανυσματική παρακολούθηση μιας ακολουθίας τιμών από έναν αισθητήρα. Έχουν δημιουργηθεί πολλοί ορισμοί για αυτή τη διαδικασία που ονομάζεται ηχοποίηση: από την «υποκατηγορία ακουστικών απεικονίσεων που χρησιμοποιούν μη λεκτικό ήχο για την αναπαράσταση πληροφοριών», έως τη «μετατροπή σχέσεων δεδομένων σε αντιληπτές σχέσεις σε ένα ακουστικό σήμα με σκοπό τη διευκόλυνση της επικοινωνίας ή της ερμηνείας» [1] και, με πιο απόλυτο και ακριβή τρόπο, τη «δημιουργία ήχου που εξαρτάται από δεδομένα, εφόσον ο μετασχηματισμός είναι συστηματικός, αντικειμενικός και αναπαραγώγιμος»,[2] και τέλος την «τεχνική μετασχηματισμού μη ακουστικών δεδομένων σε ήχο που μπορεί να γίνει αντιληπτός από την ανθρώπινη ακοή». [3] Για να το απλοποιήσουμε στο πλαίσιο αυτού του εγχειριδίου, μπορούμε να πούμε εν συντομία ότι «η ηχοποίηση είναι η διαδικασία δημιουργίας ήχου από οποιοδήποτε είδος δεδομένων, με σκοπό την αναπαράσταση των πληροφοριών τους ως ήχου». Με ακόμα πιο απλά λόγια, μπορούμε να εξηγήσουμε σε έναν μαθητή ότι η ηχοποίηση περιγράφει τα δεδομένα με ήχο, όπως η οπτικοποίηση τα περιγράφει με γραφήματα, διαγράμματα ροής, ιστογράμματα κ.λπ.

Βασικά, θέλουμε να συνδυάσουμε δεδομένα (είσοδος) και ήχους (έξοδος) και να αποφασίσουμε τον τρόπο με τον οποίο αυτά τα δύο σχετίζονται (αντιστοίχιση ή πρωτόκολλο). Έτσι, ένα σύστημα ηχοποίησης ορίζεται από αυτά τα 3 μέρη: 1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

Είδος δεδομένων και η χρήση τους στην Ηχοποίηση

Η ηχοποίηση χρησιμοποιείται όλο και περισσότερο ως επιστημονικό εργαλείο για την ανάλυση και την παρακολούθηση δεδομένων διαφόρων φαινομένων, και έχει εξελιχθεί ιδιαίτερα στον χώρο της αστρονομίας λόγω των τεράστιων ποσοτήτων δεδομένων που παράγονται από την παρατήρηση του σύμπαντος, αλλά και ως καλλιτεχνικό εργαλείο και εκπαιδευτικό συμπλήρωμα σε άλλες επιστημονικές ειδικότητες όπως η ιατρική, τα μαθηματικά, η φυσική, η χημεία, αλλά και η γεωγραφία, η οικονομία ή ακόμη και η λογοτεχνία. Για παράδειγμα, στην ιατρική, οι γιατροί παρακολουθούν τις βιομετρικές αντιδράσεις των ασθενών σε πραγματικό χρόνο χωρίς να χρειάζεται να κοιτάζουν μια οθόνη. Στη λογοτεχνία, μια ηχητική αναπαράσταση μπορεί να δημιουργηθεί «εκ των υστέρων» χρησιμοποιώντας τον αριθμό των επιθετικών προσδιορισμών σε ένα βιβλίο ή τον αριθμό των εμφανίσεων μιας συγκεκριμένης λέξης σε ένα άρθρο. Κάθε είδους δεδομένα αποτελούνται από αριθμούς. Και οι αριθμοί μπορούν να ενεργοποιήσουν ήχο, επειδή η μουσική και ο ήχος ουσιαστικά ανάγονται σε αριθμούς, με την έννοια ότι μπορούμε να τα περιγράψουμε χρησιμοποιώντας αριθμούς.

Sonification uses

The purpose of sonification is representing, displaying and sharing data. Using the auditory field the data can be more accessible and understandable to as many users as possible, especially for people who have difficulty understanding visual representations of data and it can also be used to make data more engaging and memorable for everyone. Sonification can be used in a variety of applications, such as visualizing scientific data, monitoring environmental conditions, and creating interactive multimedia experiences but also in education when engaging students in the conception of a scientific notion using audio instead of visual stimuli. Here are some examples of how sonification is used in the real world: Analyzing scientific data: Sonification can be used to analyze data that is too complex or abstract to be represented visually. For example, scientists have used sonification to analyze the behavior of atoms (The Sounds of Atoms), the activity of neurons in the brain (Interactive software for the sonification of neuronal activity | HAL) , and the evolution of galaxies (https://chandra.si.edu/sound/gcenter.html). Sonification can also be applied when data is recorded in a too dense sequence and therefore time manipulation allows audible up-scaling or sound transformations in larger or shorter duration, such as when transforming the seismograph of an earthquake into sound. Monitoring environmental conditions: Sonification can be used to monitor environmental conditions in real time, for example, to monitor the sound of the ocean to track changes in water temperature and pollution levels Creating interactive multimedia experiences: Sonification can be used to create interactive multimedia experiences that are more immersive and engaging than traditional visual interfaces. For example, sonification has been used to create interactive maps , educational games (CosmoBally - Sonokids), and virtual reality experiences.

Real-time sonification vs 'a posteriori'

According to the use of the sonification system (to analyze or to monitor a certain phenomena) we distinguish two “modes”: 1) in real-time (to monitor) - a stream of data is sonifed instantly and a sound is produced to display the value and behavior of the data in that particular moment; 2) “ a posteriori” (to analyze) - time-series sonification of a set of pre-recorded data is converted into an audio file that displays the values and behavior of the data over the period of time covered by the time-series. These two methods are not mutually exclusive and can eventually display the same sounds.The difference is that in “a posteriori”, as the sound is produced after the events that originated the data happened, the parameters of the final piece can be adapted, i.e.the total duration. In a real-time case, you can control the time resolution: that is the time interval at which the sound can change and is played.

Acoustic ecology

The aesthetic is important. A sound can be mapped very precisely but sounds “awful” to the user. This could be considered as a defect and therefore it could limit the efficacy of the system because the user will not bear listening to it. On the other side (i.e. in alarms) the sound can be intentionally noisy and aggressive. The choice of the output sound is in some way artistic in a sense that it must take into consideration the type of audience and its taste. It does not mean that we are obliged to play something that the user will like, but at least be aware of what type of sound is familiar to him/her. Even if the taste is subjective we would like to recall the work done in the field of acoustic ecology. There are some common factors indicated by psychology studies and also cultural models of “beauty”. In the present project, as the name of the project suggests, we reference the work and vision of the Canadian composer Murray Schafer, who popularized the term “soundscape” in the book “The Tuning Of The World” in 1977. Soundscapes can be simply considered as a composition of the anthrophony, geophony and biophony of a particular environment. The author argues that we've become desensitized to the rich sounds of our environment, which he calls the "soundscape." This soundscape encompasses all the natural and human-made sounds that surround us, and Schafer believes we should learn to appreciate and manage it for a better world.His work generated the “acoustic ecology movement” which aims to study the relationship between humans, animals and nature, in terms of sound and soundscapes. The Acoustic Ecology Institute was founded to raise consciousness of the effect of noisy acoustic environments, proven to be harmful for increasing stress levels on individuals when immersed in these.

Examples

SonarX is a software designed to transform images and video into meaningful sound for blind individuals and all. It runs on Pure Data and can be downloaded at this github repository.

References