What is sonification/el

Όταν παράγουμε έναν ήχο για να ενημερώσουμε για κάτι, εφαρμόζουμε ένα σύστημα ηχοποίησης. Αναπαριστούμε δεδομένα στον ακουστικό χώρο. Μετατρέπουμε τα δεδομένα σε ήχους, τα οποία συνήθως μπορούν να αντιπροσωπεύουν οτιδήποτε μπορεί να εκφραστεί με αριθμούς: μια φυσική μέτρηση, μια έννοια, μια ενέργεια ή την διανυσματική παρακολούθηση μιας ακολουθίας τιμών από έναν αισθητήρα. Έχουν δημιουργηθεί πολλοί ορισμοί για αυτή τη διαδικασία που ονομάζεται ηχοποίηση: από την «υποκατηγορία ακουστικών απεικονίσεων που χρησιμοποιούν μη λεκτικό ήχο για την αναπαράσταση πληροφοριών», έως τη «μετατροπή σχέσεων δεδομένων σε αντιληπτές σχέσεις σε ένα ακουστικό σήμα με σκοπό τη διευκόλυνση της επικοινωνίας ή της ερμηνείας» [1] και, με πιο απόλυτο και ακριβή τρόπο, τη «δημιουργία ήχου που εξαρτάται από δεδομένα, εφόσον ο μετασχηματισμός είναι συστηματικός, αντικειμενικός και αναπαραγώγιμος»,[2] και τέλος την «τεχνική μετασχηματισμού μη ακουστικών δεδομένων σε ήχο που μπορεί να γίνει αντιληπτός από την ανθρώπινη ακοή». [3] Για να το απλοποιήσουμε στο πλαίσιο αυτού του εγχειριδίου, μπορούμε να πούμε εν συντομία ότι «η ηχοποίηση είναι η διαδικασία δημιουργίας ήχου από οποιοδήποτε είδος δεδομένων, με σκοπό την αναπαράσταση των πληροφοριών τους ως ήχου». Με ακόμα πιο απλά λόγια, μπορούμε να εξηγήσουμε σε έναν μαθητή ότι η ηχοποίηση περιγράφει τα δεδομένα με ήχο, όπως η οπτικοποίηση τα περιγράφει με γραφήματα, διαγράμματα ροής, ιστογράμματα κ.λπ.

Βασικά, θέλουμε να συνδυάσουμε δεδομένα (είσοδος) και ήχους (έξοδος) και να αποφασίσουμε τον τρόπο με τον οποίο αυτά τα δύο σχετίζονται (αντιστοίχιση ή πρωτόκολλο). Έτσι, ένα σύστημα ηχοποίησης ορίζεται από αυτά τα 3 μέρη: 1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο

Είδος δεδομένων και η χρήση τους στην Ηχοποίηση

Η ηχοποίηση χρησιμοποιείται όλο και περισσότερο ως επιστημονικό εργαλείο για την ανάλυση και την παρακολούθηση δεδομένων διαφόρων φαινομένων, και έχει εξελιχθεί ιδιαίτερα στον χώρο της αστρονομίας λόγω των τεράστιων ποσοτήτων δεδομένων που παράγονται από την παρατήρηση του σύμπαντος, αλλά και ως καλλιτεχνικό εργαλείο και εκπαιδευτικό συμπλήρωμα σε άλλες επιστημονικές ειδικότητες όπως η ιατρική, τα μαθηματικά, η φυσική, η χημεία, αλλά και η γεωγραφία, η οικονομία ή ακόμη και η λογοτεχνία. Για παράδειγμα, στην ιατρική, οι γιατροί παρακολουθούν τις βιομετρικές αντιδράσεις των ασθενών σε πραγματικό χρόνο χωρίς να χρειάζεται να κοιτάζουν μια οθόνη. Στη λογοτεχνία, μια ηχητική αναπαράσταση μπορεί να δημιουργηθεί «εκ των υστέρων» χρησιμοποιώντας τον αριθμό των επιθετικών προσδιορισμών σε ένα βιβλίο ή τον αριθμό των εμφανίσεων μιας συγκεκριμένης λέξης σε ένα άρθρο. Κάθε είδους δεδομένα αποτελούνται από αριθμούς. Και οι αριθμοί μπορούν να ενεργοποιήσουν ήχο, επειδή η μουσική και ο ήχος ουσιαστικά ανάγονται σε αριθμούς, με την έννοια ότι μπορούμε να τα περιγράψουμε χρησιμοποιώντας αριθμούς.

Οι χρήσεις της Ηχοποίησης

Σκοπός της ηχοποίησης είναι η αναπαράσταση, η παρουσίαση και η κοινοποίηση δεδομένων. Μέσω του ακουστικού πεδίου, τα δεδομένα μπορούν να γίνουν πιο προσιτά και κατανοητά σε όσο το δυνατόν περισσότερους χρήστες, ειδικά για άτομα που αντιμετωπίζουν δυσκολίες στην κατανόηση οπτικών αναπαραστάσεων δεδομένων, ενώ μπορεί επίσης να χρησιμοποιηθεί για να καταστήσει τα δεδομένα πιο ελκυστικά και ευκολομνημόνευτα για όλους. Η ηχοποίηση μπορεί να χρησιμοποιηθεί σε μια ποικιλία εφαρμογών, όπως η οπτικοποίηση επιστημονικών δεδομένων, η παρακολούθηση περιβαλλοντικών συνθηκών και η δημιουργία διαδραστικών εμπειριών πολυμέσων, αλλά και στην εκπαίδευση, όταν εμπλέκονται μαθητές στη σύλληψη μιας επιστημονικής έννοιας χρησιμοποιώντας ήχο αντί για οπτικά ερεθίσματα. Ακολουθούν μερικά παραδείγματα για το πώς χρησιμοποιείται η ηχοποίηση στον πραγματικό κόσμο: Ανάλυση επιστημονικών δεδομένων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την ανάλυση δεδομένων που είναι πολύ περίπλοκα ή αφηρημένα για να αναπαρασταθούν οπτικά. Για παράδειγμα, οι επιστήμονες έχουν χρησιμοποιήσει την ηχοποίηση για να αναλύσουν τη συμπεριφορά των ατόμων (Οι ήχοι των Ατόμων),[4] για τη δραστηριότητα των νευρώνων στον εγκέφαλο (Διαδραστικό λογισμικό για την ηχοποίηση της νευρωνικής δραστηριότητας | HAL) [5] και την εξέλιξη των γαλαξιών (https://chandra.si.edu/sound/gcenter.html).

Η ηχοποίηση μπορεί επίσης να εφαρμοστεί όταν τα δεδομένα καταγράφονται σε μια υπερβολικά πυκνή ακολουθία και, ως εκ τούτου, ο χειρισμός του χρόνου επιτρέπει την ακουστική αναβάθμιση ή μετασχηματισμούς του ήχου σε μεγαλύτερη ή μικρότερη χρονική διάρκεια, όπως για παράδειγμα κατά τη μετατροπή των δεδομένων ενός σεισμογράφου σε ήχο. Παρακολούθηση περιβαλλοντικών συνθηκών: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την παρακολούθηση των περιβαλλοντικών συνθηκών σε πραγματικό χρόνο, για παράδειγμα, για την παρακολούθηση του ήχου του ωκεανού με σκοπό την καταγραφή των αλλαγών στη θερμοκρασία του νερού και στα επίπεδα ρύπανσης.[6] Δημιουργία διαδραστικών εμπειριών πολυμέσων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για τη δημιουργία διαδραστικών εμπειριών πολυμέσων που είναι πιο καθηλωτικές και ελκυστικές από τις παραδοσιακές οπτικές διεπαφές. Για παράδειγμα, η ηχοποίηση έχει χρησιμοποιηθεί για τη δημιουργία διαδραστικών χαρτών,[7] εκπαιδευτικών παιχνιδιών (CosmoBally - Sonokids) και εμπειριών εικονικής πραγματικότητας.

Ηχοποίηση σε πραγματικό χρόνο vs εκ των υστέρων

Ανάλογα με τη χρήση του συστήματος ηχοποίησης (για την ανάλυση ή την παρακολούθηση ενός συγκεκριμένου φαινομένου), διακρίνουμε δύο «τρόπους λειτουργίας»: 1- σε πραγματικό χρόνο (για παρακολούθηση) – μια ροή δεδομένων ηχοποιείται αμέσως και παράγεται ένας ήχος που απεικονίζει την τιμή και τη συμπεριφορά των δεδομένων εκείνη τη συγκεκριμένη στιγμή• 2- «εκ των υστέρων» (για ανάλυση) – η ηχοποίηση χρονοσειρών ενός συνόλου προηχογραφημένων δεδομένων μετατρέπεται σε αρχείο ήχου που απεικονίζει τις τιμές και τη συμπεριφορά των δεδομένων κατά τη χρονική περίοδο που καλύπτει η χρονοσειρά. Αυτές οι δύο μέθοδοι δεν αλληλοαποκλείονται και μπορούν τελικά να παράξουν τους ίδιους ήχους. Η διαφορά είναι ότι στην «εκ των υστέρων», καθώς ο ήχος παράγεται μετά την πραγματοποίηση των γεγονότων που δημιούργησαν τα δεδομένα, οι παράμετροι του τελικού κομματιού μπορούν να προσαρμοστούν, π.χ. η συνολική διάρκεια. Σε μια περίπτωση σε πραγματικό χρόνο, μπορείτε να ελέγξετε την χρονική ανάλυση: δηλαδή το χρονικό διάστημα στο οποίο ο ήχος μπορεί να αλλάξει και να αναπαραχθεί. Αυτές οι δύο μέθοδοι δεν αλληλοαποκλείονται και μπορούν τελικά να παράξουν τους ίδιους ήχους. Η διαφορά είναι ότι στην «εκ των υστέρων», καθώς ο ήχος παράγεται μετά την πραγματοποίηση των γεγονότων που δημιούργησαν τα δεδομένα, οι παράμετροι του τελικού κομματιού μπορούν να προσαρμοστούν, π.χ. η συνολική διάρκεια. Σε μια περίπτωση σε πραγματικό χρόνο, μπορείτε να ελέγξετε την χρονική ανάλυση: δηλαδή το χρονικό διάστημα στο οποίο ο ήχος μπορεί να αλλάξει και να αναπαραχθεί.

Ακουστική Οικολογία

Η αισθητική είναι σημαντική. Ένας ήχος μπορεί να έχει σχεδιαστεί με μεγάλη ακρίβεια, αλλά να ακούγεται «απαίσιος» στον χρήστη. Αυτό θα μπορούσε να θεωρηθεί ως ελάττωμα και, ως εκ τούτου, να περιορίσει την αποτελεσματικότητα του συστήματος, καθώς ο χρήστης δεν θα αντέχει να τον ακούει. Από την άλλη πλευρά (π.χ. στις ειδοποιήσεις), ο ήχος μπορεί να είναι σκόπιμα θορυβώδης και επιθετικός. Η επιλογή του εξηγμένου ήχου είναι κατά κάποιον τρόπο καλλιτεχνική, με την έννοια ότι πρέπει να λαμβάνει υπόψη τον τύπο του κοινού και τις προτιμήσεις του. Αυτό δεν σημαίνει ότι είμαστε υποχρεωμένοι να παίξουμε κάτι που θα αρέσει στον χρήστη, αλλά τουλάχιστον να γνωρίζουμε τί είδους ήχος του είναι οικείος. Ακόμα και αν η προτίμηση είναι υποκειμενική, θα θέλαμε να υπενθυμίσουμε το έργο που έχει γίνει στον τομέα της ακουστικής οικολογίας. Υπάρχουν ορισμένοι κοινοί παράγοντες που υποδεικνύονται από ψυχολογικές μελέτες, καθώς και πολιτισμικά μοντέλα «ωραίου». Στο παρόν έργο, όπως υποδηλώνει και το όνομά του, αναφερόμαστε στο έργο και το όραμα του Καναδού συνθέτη Murray Schafer, ο οποίος διέδωσε τον όρο «ηχοτοπίο» στο βιβλίο του «The Tuning Of The World» το 1977.[8] Τα ηχοτοπία μπορούν απλά να θεωρηθούν ως μια σύνθεση της ανθρωποφωνίας, της γεωφωνίας και της βιοφωνίας ενός συγκεκριμένου περιβάλλοντος. Ο συγγραφέας υποστηρίζει ότι έχουμε αποευαισθητοποιηθεί απέναντι στους πλούσιους ήχους του περιβάλλοντός μας, το οποίο ονομάζει «ηχοτοπίο». Αυτό το ηχοτοπίο περιλαμβάνει όλους τους φυσικούς και τους ανθρωπογενείς ήχους που μας περιβάλλουν, και ο Schafer πιστεύει ότι πρέπει να μάθουμε να το εκτιμούμε και να το διαχειριζόμαστε για έναν καλύτερο κόσμο. Το έργο του δημιούργησε το «κίνημα της ακουστικής οικολογίας», το οποίο στοχεύει στη μελέτη της σχέσης μεταξύ ανθρώπων, ζώων και φύσης, από την άποψη του ήχου και των ηχοτοπίων. Το Ινστιτούτο Ακουστικής Οικολογίας ιδρύθηκε για να ευαισθητοποιήσει το κοινό σχετικά με τις επιπτώσεις των θορυβωδών ακουστικών περιβαλλόντων, τα οποία έχει αποδειχθεί ότι είναι επιβλαβή για την αύξηση των επιπέδων άγχους στα άτομα όταν βυθίζονται σε αυτά.

Παραδείγματα

Το SonarX είναι ένα λογισμικό που έχει σχεδιαστεί για να μετατρέπει εικόνες και βίντεο σε κατανοητούς ήχους για άτομα με προβλήματα όρασης αλλά και όλους.[9] Λειτουργεί στο Pure Data[10] και μπορείτε να το κατεβάσετε από αυτό το αποθετήριο του GitHub. [11]

Ορισμένα ιστορικά στοιχεία

Οι βαθμίδες της κλίμακας ως ηχοποίηση των θεμελιωδών αναλογιών (1/2, 2/3, 3/4)

In the strictest sense of the Theory of Harmony in Music, the understanding of the harmonic relationships that govern sounds is rooted in the mathematical ratios that correspond to the dimensions of length, tension, and the natural properties of the materials that produce them. The definition of the overall range and the intervals governing the diatonic scale clearly refers to the fundamental ratios of the Pythagorean “Tetraktys.”

The Ratios

If we calculate the number of parts of the material that are set in motion, that is, if the number “2” corresponds to the two equal parts into which a string is divided to produce the octave (which is again C, as shown in the first column, but sharper), and assuming that 129 pulses are required to produce C (Do), then the table below shows the mapping of notes in the left column and frequencies in the middle column, with the number of parts set in motion in the third column.

Notes with frequencies and ratios

Series of harmonics of note C in the left column, frequencies in the middle and the number of parts set in motion (right column)

The series of harmonics with C as the fundamental

Series of harmonics in note C on the music staff

The ratio of 1 to 2 (1/2) also gives us the interval ratio of an octave. Based on the corresponding frequency diagram (number of pulses), the corresponding frequency ratio is 129/259. The ratio 2 to 3 (2/3) therefore gives us the interval, which in turn defines the frequency ratio 259/388. The observation, therefore, of ratios that may arise between two, or even more, numerical values of calculation, measurement, or data series logging, can also serve as a stimulus for creating sonification.

The twelve note chromatic scale, the “set theory” and the holistic seraism

The historical concept of “mapping the notes” of the diatonic scale to the sequence of natural numbers dates back as far as the 17th century, however, philosopher and musician Jean-Jacques Rousseau (1712–1778) was the first to formally present this idea in the French Academy of Sciences.

According to this, each successive note of the musical scale can be numbered in the sequence of natural numbers. For example, if we assign A (A in the Latin solfège) the number 1, then we have the following correspondence (correspondence chart):

A sonification protocol (note-mapping) using the diatonic scale

A sonification protocol (note-mapping) using the diatonic scale

If the scale is also chromatic, then we can have the following arrangement:

A sonification protocol (note-mapping) using the chromatic scale

A sonification protocol (note-mapping) using the chromatic scale

The case of Xenakis’ “Polyagogia”

Iannis Xenakis (1922–2001) was a pioneering architect and composer of the 20th century. The concept of schematic sonification using electronic means, as described above—that is, the conversion of a shape into sound in a manner analogous to the conversion of data into a graph—was studied by Xenakis as early as the 1950s, but it took its final form in the late 1970s. By bypassing the mediation of formal education, Xenakis dared to establish a world of holistic sonic experience as he conceived, designed, and implemented the sonic rendering of graphs in the form of a comprehensive system. This system included an electromagnetic stylus on an architectural design canvas, connected to a computer and speakers; it was named in Greek “Polyagogia” ("Πολυαγωγία", Unité Polyagogique Informatique de CEMAMu/U.P.I.C.) The pedagogical dimension of this connection was emphasized early on by Xenakis. The image below clearly illustrates this connection, as the architectural canvas corresponds to the keys of a piano (vertically on the screen).

Iannis Xenakis at the Center for Mathematical and Musical Automation explains the basic operation of the Polyagoga to students. CEMAMu (Centre d’Études de Mathématique et Automatique Musicales), likely in the late 1970s

The Iannis Xenakis Center (Centre Iannis Xenakis) has developed a modern educational version of UPIC as an application, titled UPISKETCH, which is freely available on this page: https://www.centre-iannis-xenakis.org/upisketch?lang=en