What is sonification/el

Όταν παράγουμε έναν ήχο για να ενημερώσουμε για κάτι, εφαρμόζουμε ένα σύστημα ηχοποίησης. Αναπαριστούμε δεδομένα στον ακουστικό χώρο. Μετατρέπουμε τα δεδομένα σε ήχους, τα οποία συνήθως μπορούν να αντιπροσωπεύουν οτιδήποτε μπορεί να εκφραστεί με αριθμούς: μια φυσική μέτρηση, μια έννοια, μια ενέργεια ή την διανυσματική παρακολούθηση μιας ακολουθίας τιμών από έναν αισθητήρα. Έχουν δημιουργηθεί πολλοί ορισμοί για αυτή τη διαδικασία που ονομάζεται ηχοποίηση: από την «υποκατηγορία ακουστικών απεικονίσεων που χρησιμοποιούν μη λεκτικό ήχο για την αναπαράσταση πληροφοριών», έως τη «μετατροπή σχέσεων δεδομένων σε αντιληπτές σχέσεις σε ένα ακουστικό σήμα με σκοπό τη διευκόλυνση της επικοινωνίας ή της ερμηνείας» [1] και, με πιο απόλυτο και ακριβή τρόπο, τη «δημιουργία ήχου που εξαρτάται από δεδομένα, εφόσον ο μετασχηματισμός είναι συστηματικός, αντικειμενικός και αναπαραγώγιμος»,[2] και τέλος την «τεχνική μετασχηματισμού μη ακουστικών δεδομένων σε ήχο που μπορεί να γίνει αντιληπτός από την ανθρώπινη ακοή». [3] Για να το απλοποιήσουμε στο πλαίσιο αυτού του εγχειριδίου, μπορούμε να πούμε εν συντομία ότι «η ηχοποίηση είναι η διαδικασία δημιουργίας ήχου από οποιοδήποτε είδος δεδομένων, με σκοπό την αναπαράσταση των πληροφοριών τους ως ήχου». Με ακόμα πιο απλά λόγια, μπορούμε να εξηγήσουμε σε έναν μαθητή ότι η ηχοποίηση περιγράφει τα δεδομένα με ήχο, όπως η οπτικοποίηση τα περιγράφει με γραφήματα, διαγράμματα ροής, ιστογράμματα κ.λπ.

Βασικά, θέλουμε να συνδυάσουμε δεδομένα (είσοδος) και ήχους (έξοδος) και να αποφασίσουμε τον τρόπο με τον οποίο αυτά τα δύο σχετίζονται (αντιστοίχιση ή πρωτόκολλο). Έτσι, ένα σύστημα ηχοποίησης ορίζεται από αυτά τα 3 μέρη: 1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

Είδος δεδομένων και η χρήση τους στην Ηχοποίηση

Η ηχοποίηση χρησιμοποιείται όλο και περισσότερο ως επιστημονικό εργαλείο για την ανάλυση και την παρακολούθηση δεδομένων διαφόρων φαινομένων, και έχει εξελιχθεί ιδιαίτερα στον χώρο της αστρονομίας λόγω των τεράστιων ποσοτήτων δεδομένων που παράγονται από την παρατήρηση του σύμπαντος, αλλά και ως καλλιτεχνικό εργαλείο και εκπαιδευτικό συμπλήρωμα σε άλλες επιστημονικές ειδικότητες όπως η ιατρική, τα μαθηματικά, η φυσική, η χημεία, αλλά και η γεωγραφία, η οικονομία ή ακόμη και η λογοτεχνία. Για παράδειγμα, στην ιατρική, οι γιατροί παρακολουθούν τις βιομετρικές αντιδράσεις των ασθενών σε πραγματικό χρόνο χωρίς να χρειάζεται να κοιτάζουν μια οθόνη. Στη λογοτεχνία, μια ηχητική αναπαράσταση μπορεί να δημιουργηθεί «εκ των υστέρων» χρησιμοποιώντας τον αριθμό των επιθετικών προσδιορισμών σε ένα βιβλίο ή τον αριθμό των εμφανίσεων μιας συγκεκριμένης λέξης σε ένα άρθρο. Κάθε είδους δεδομένα αποτελούνται από αριθμούς. Και οι αριθμοί μπορούν να ενεργοποιήσουν ήχο, επειδή η μουσική και ο ήχος ουσιαστικά ανάγονται σε αριθμούς, με την έννοια ότι μπορούμε να τα περιγράψουμε χρησιμοποιώντας αριθμούς.

Οι χρήσεις της Ηχοποίησης

Σκοπός της ηχοποίησης είναι η αναπαράσταση, η παρουσίαση και η κοινοποίηση δεδομένων. Μέσω του ακουστικού πεδίου, τα δεδομένα μπορούν να γίνουν πιο προσιτά και κατανοητά σε όσο το δυνατόν περισσότερους χρήστες, ειδικά για άτομα που αντιμετωπίζουν δυσκολίες στην κατανόηση οπτικών αναπαραστάσεων δεδομένων, ενώ μπορεί επίσης να χρησιμοποιηθεί για να καταστήσει τα δεδομένα πιο ελκυστικά και ευκολομνημόνευτα για όλους. Η ηχοποίηση μπορεί να χρησιμοποιηθεί σε μια ποικιλία εφαρμογών, όπως η οπτικοποίηση επιστημονικών δεδομένων, η παρακολούθηση περιβαλλοντικών συνθηκών και η δημιουργία διαδραστικών εμπειριών πολυμέσων, αλλά και στην εκπαίδευση, όταν εμπλέκονται μαθητές στη σύλληψη μιας επιστημονικής έννοιας χρησιμοποιώντας ήχο αντί για οπτικά ερεθίσματα. Ακολουθούν μερικά παραδείγματα για το πώς χρησιμοποιείται η ηχοποίηση στον πραγματικό κόσμο: Ανάλυση επιστημονικών δεδομένων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την ανάλυση δεδομένων που είναι πολύ περίπλοκα ή αφηρημένα για να αναπαρασταθούν οπτικά. Για παράδειγμα, οι επιστήμονες έχουν χρησιμοποιήσει την ηχοποίηση για να αναλύσουν τη συμπεριφορά των ατόμων (Οι ήχοι των Ατόμων),[4] για τη δραστηριότητα των νευρώνων στον εγκέφαλο (Διαδραστικό λογισμικό για την ηχοποίηση της νευρωνικής δραστηριότητας | HAL) [5] και την εξέλιξη των γαλαξιών (https://chandra.si.edu/sound/gcenter.html).

Η ηχοποίηση μπορεί επίσης να εφαρμοστεί όταν τα δεδομένα καταγράφονται σε μια υπερβολικά πυκνή ακολουθία και, ως εκ τούτου, ο χειρισμός του χρόνου επιτρέπει την ακουστική αναβάθμιση ή μετασχηματισμούς του ήχου σε μεγαλύτερη ή μικρότερη χρονική διάρκεια, όπως για παράδειγμα κατά τη μετατροπή των δεδομένων ενός σεισμογράφου σε ήχο. Παρακολούθηση περιβαλλοντικών συνθηκών: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την παρακολούθηση των περιβαλλοντικών συνθηκών σε πραγματικό χρόνο, για παράδειγμα, για την παρακολούθηση του ήχου του ωκεανού με σκοπό την καταγραφή των αλλαγών στη θερμοκρασία του νερού και στα επίπεδα ρύπανσης.[6] Δημιουργία διαδραστικών εμπειριών πολυμέσων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για τη δημιουργία διαδραστικών εμπειριών πολυμέσων που είναι πιο καθηλωτικές και ελκυστικές από τις παραδοσιακές οπτικές διεπαφές. Για παράδειγμα, η ηχοποίηση έχει χρησιμοποιηθεί για τη δημιουργία διαδραστικών χαρτών,[7] εκπαιδευτικών παιχνιδιών (CosmoBally - Sonokids) και εμπειριών εικονικής πραγματικότητας.

Real-time sonification vs 'a posteriori'

According to the use of the sonification system (to analyze or to monitor a certain phenomena) we distinguish two “modes”: 1) in real-time (to monitor) - a stream of data is sonifed instantly and a sound is produced to display the value and behavior of the data in that particular moment; 2) “ a posteriori” (to analyze) - time-series sonification of a set of pre-recorded data is converted into an audio file that displays the values and behavior of the data over the period of time covered by the time-series. These two methods are not mutually exclusive and can eventually display the same sounds.The difference is that in “a posteriori”, as the sound is produced after the events that originated the data happened, the parameters of the final piece can be adapted, i.e.the total duration. In a real-time case, you can control the time resolution: that is the time interval at which the sound can change and is played.

Acoustic ecology

The aesthetic is important. A sound can be mapped very precisely but sounds “awful” to the user. This could be considered as a defect and therefore it could limit the efficacy of the system because the user will not bear listening to it. On the other side (i.e. in alarms) the sound can be intentionally noisy and aggressive. The choice of the output sound is in some way artistic in a sense that it must take into consideration the type of audience and its taste. It does not mean that we are obliged to play something that the user will like, but at least be aware of what type of sound is familiar to him/her. Even if the taste is subjective we would like to recall the work done in the field of acoustic ecology. There are some common factors indicated by psychology studies and also cultural models of “beauty”. In the present project, as the name of the project suggests, we reference the work and vision of the Canadian composer Murray Schafer, who popularized the term “soundscape” in the book “The Tuning Of The World” in 1977. Soundscapes can be simply considered as a composition of the anthrophony, geophony and biophony of a particular environment. The author argues that we've become desensitized to the rich sounds of our environment, which he calls the "soundscape." This soundscape encompasses all the natural and human-made sounds that surround us, and Schafer believes we should learn to appreciate and manage it for a better world.His work generated the “acoustic ecology movement” which aims to study the relationship between humans, animals and nature, in terms of sound and soundscapes. The Acoustic Ecology Institute was founded to raise consciousness of the effect of noisy acoustic environments, proven to be harmful for increasing stress levels on individuals when immersed in these.

Examples

SonarX is a software designed to transform images and video into meaningful sound for blind individuals and all. It runs on Pure Data and can be downloaded at this github repository.

References