Τί είναι η ηχοποίηση
Όταν παράγουμε έναν ήχο για να ενημερώσουμε για κάτι, εφαρμόζουμε ένα σύστημα ηχοποίησης. Αναπαριστούμε δεδομένα στον ακουστικό χώρο. Μετατρέπουμε τα δεδομένα σε ήχους, τα οποία συνήθως μπορούν να αντιπροσωπεύουν οτιδήποτε μπορεί να εκφραστεί με αριθμούς: μια φυσική μέτρηση, μια έννοια, μια ενέργεια ή την διανυσματική παρακολούθηση μιας ακολουθίας τιμών από έναν αισθητήρα. Έχουν δημιουργηθεί πολλοί ορισμοί για αυτή τη διαδικασία που ονομάζεται ηχοποίηση: από την «υποκατηγορία ακουστικών απεικονίσεων που χρησιμοποιούν μη λεκτικό ήχο για την αναπαράσταση πληροφοριών», έως τη «μετατροπή σχέσεων δεδομένων σε αντιληπτές σχέσεις σε ένα ακουστικό σήμα με σκοπό τη διευκόλυνση της επικοινωνίας ή της ερμηνείας»[1] και, με πιο απόλυτο και ακριβή τρόπο, τη «δημιουργία ήχου που εξαρτάται από δεδομένα, εφόσον ο μετασχηματισμός είναι συστηματικός, αντικειμενικός και αναπαραγώγιμος», [2] και τέλος την «τεχνική μετασχηματισμού μη ακουστικών δεδομένων σε ήχο που μπορεί να γίνει αντιληπτός από την ανθρώπινη ακοή». [3] Για να το απλοποιήσουμε στο πλαίσιο αυτού του εγχειριδίου, μπορούμε να πούμε εν συντομία ότι «η ηχοποίηση είναι η διαδικασία δημιουργίας ήχου από οποιοδήποτε είδος δεδομένων, με σκοπό την αναπαράσταση των πληροφοριών τους ως ήχου». Με ακόμα πιο απλά λόγια, μπορούμε να εξηγήσουμε σε έναν μαθητή ότι η ηχοποίηση περιγράφει τα δεδομένα με ήχο, όπως η οπτικοποίηση τα περιγράφει με γραφήματα, διαγράμματα ροής, ιστογράμματα κ.λπ.
Βασικά, θέλουμε να συνδυάσουμε δεδομένα (είσοδος) και ήχους (έξοδος) και να αποφασίσουμε τον τρόπο με τον οποίο αυτά τα δύο σχετίζονται (αντιστοίχιση ή πρωτόκολλο). Έτσι, ένα σύστημα ηχοποίησης ορίζεται από αυτά τα 3 μέρη: 1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο
1 - Δεδομένα εισόδου 2 - Ήχοι εξόδου 3 - Αντιστοίχιση ή πρωτόκολλο
Είδος δεδομένων και η χρήση τους στην Ηχοποίηση
Η ηχοποίηση χρησιμοποιείται όλο και περισσότερο ως επιστημονικό εργαλείο για την ανάλυση και την παρακολούθηση δεδομένων διαφόρων φαινομένων, και έχει εξελιχθεί ιδιαίτερα στον χώρο της αστρονομίας λόγω των τεράστιων ποσοτήτων δεδομένων που παράγονται από την παρατήρηση του σύμπαντος, αλλά και ως καλλιτεχνικό εργαλείο και εκπαιδευτικό συμπλήρωμα σε άλλες επιστημονικές ειδικότητες όπως η ιατρική, τα μαθηματικά, η φυσική, η χημεία, αλλά και η γεωγραφία, η οικονομία ή ακόμη και η λογοτεχνία. Για παράδειγμα, στην ιατρική, οι γιατροί παρακολουθούν τις βιομετρικές αντιδράσεις των ασθενών σε πραγματικό χρόνο χωρίς να χρειάζεται να κοιτάζουν μια οθόνη. Στη λογοτεχνία, μια ηχητική αναπαράσταση μπορεί να δημιουργηθεί «εκ των υστέρων» χρησιμοποιώντας τον αριθμό των επιθετικών προσδιορισμών σε ένα βιβλίο ή τον αριθμό των εμφανίσεων μιας συγκεκριμένης λέξης σε ένα άρθρο. Κάθε είδους δεδομένα αποτελούνται από αριθμούς. Και οι αριθμοί μπορούν να ενεργοποιήσουν ήχο, επειδή η μουσική και ο ήχος ουσιαστικά ανάγονται σε αριθμούς, με την έννοια ότι μπορούμε να τα περιγράψουμε χρησιμοποιώντας αριθμούς.
Οι χρήσεις της Ηχοποίησης
Σκοπός της ηχοποίησης είναι η αναπαράσταση, η παρουσίαση και η κοινοποίηση δεδομένων. Μέσω του ακουστικού πεδίου, τα δεδομένα μπορούν να γίνουν πιο προσιτά και κατανοητά σε όσο το δυνατόν περισσότερους χρήστες, ειδικά για άτομα που αντιμετωπίζουν δυσκολίες στην κατανόηση οπτικών αναπαραστάσεων δεδομένων, ενώ μπορεί επίσης να χρησιμοποιηθεί για να καταστήσει τα δεδομένα πιο ελκυστικά και ευκολομνημόνευτα για όλους. Η ηχοποίηση μπορεί να χρησιμοποιηθεί σε μια ποικιλία εφαρμογών, όπως η οπτικοποίηση επιστημονικών δεδομένων, η παρακολούθηση περιβαλλοντικών συνθηκών και η δημιουργία διαδραστικών εμπειριών πολυμέσων, αλλά και στην εκπαίδευση, όταν εμπλέκονται μαθητές στη σύλληψη μιας επιστημονικής έννοιας χρησιμοποιώντας ήχο αντί για οπτικά ερεθίσματα. Ακολουθούν μερικά παραδείγματα για το πώς χρησιμοποιείται η ηχοποίηση στον πραγματικό κόσμο: Ανάλυση επιστημονικών δεδομένων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την ανάλυση δεδομένων που είναι πολύ περίπλοκα ή αφηρημένα για να αναπαρασταθούν οπτικά. Για παράδειγμα, οι επιστήμονες έχουν χρησιμοποιήσει την ηχοποίηση για να αναλύσουν τη συμπεριφορά των ατόμων (Οι ήχοι των Ατόμων),[4] για τη δραστηριότητα των νευρώνων στον εγκέφαλο (Διαδραστικό λογισμικό για την ηχοποίηση της νευρωνικής δραστηριότητας | HAL) [5] και την εξέλιξη των γαλαξιών (https://chandra.si.edu/sound/gcenter.html).
Η ηχοποίηση μπορεί επίσης να εφαρμοστεί όταν τα δεδομένα καταγράφονται σε μια υπερβολικά πυκνή ακολουθία και, ως εκ τούτου, ο χειρισμός του χρόνου επιτρέπει την ακουστική αναβάθμιση ή μετασχηματισμούς του ήχου σε μεγαλύτερη ή μικρότερη χρονική διάρκεια, όπως για παράδειγμα κατά τη μετατροπή των δεδομένων ενός σεισμογράφου σε ήχο. Παρακολούθηση περιβαλλοντικών συνθηκών: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για την παρακολούθηση των περιβαλλοντικών συνθηκών σε πραγματικό χρόνο, για παράδειγμα, για την παρακολούθηση του ήχου του ωκεανού με σκοπό την καταγραφή των αλλαγών στη θερμοκρασία του νερού και στα επίπεδα ρύπανσης. [6] Δημιουργία διαδραστικών εμπειριών πολυμέσων: Η ηχοποίηση μπορεί να χρησιμοποιηθεί για τη δημιουργία διαδραστικών εμπειριών πολυμέσων που είναι πιο καθηλωτικές και ελκυστικές από τις παραδοσιακές οπτικές διεπαφές. Για παράδειγμα, η ηχοποίηση έχει χρησιμοποιηθεί για τη δημιουργία διαδραστικών χαρτών,[7]εκπαιδευτικών παιχνιδιών (CosmoBally - Sonokids) και εμπειριών εικονικής πραγματικότητας.
Ηχοποίηση σε πραγματικό χρόνο vs εκ των υστέρων
Ανάλογα με τη χρήση του συστήματος ηχοποίησης (για την ανάλυση ή την παρακολούθηση ενός συγκεκριμένου φαινομένου), διακρίνουμε δύο «τρόπους λειτουργίας»: 1- σε πραγματικό χρόνο (για παρακολούθηση) – μια ροή δεδομένων ηχοποιείται αμέσως και παράγεται ένας ήχος που απεικονίζει την τιμή και τη συμπεριφορά των δεδομένων εκείνη τη συγκεκριμένη στιγμή• 2- «εκ των υστέρων» (για ανάλυση) – η ηχοποίηση χρονοσειρών ενός συνόλου προηχογραφημένων δεδομένων μετατρέπεται σε αρχείο ήχου που απεικονίζει τις τιμές και τη συμπεριφορά των δεδομένων κατά τη χρονική περίοδο που καλύπτει η χρονοσειρά. Αυτές οι δύο μέθοδοι δεν αλληλοαποκλείονται και μπορούν τελικά να παράξουν τους ίδιους ήχους. Η διαφορά είναι ότι στην «εκ των υστέρων», καθώς ο ήχος παράγεται μετά την πραγματοποίηση των γεγονότων που δημιούργησαν τα δεδομένα, οι παράμετροι του τελικού κομματιού μπορούν να προσαρμοστούν, π.χ. η συνολική διάρκεια. Σε μια περίπτωση σε πραγματικό χρόνο, μπορείτε να ελέγξετε την χρονική ανάλυση: δηλαδή το χρονικό διάστημα στο οποίο ο ήχος μπορεί να αλλάξει και να αναπαραχθεί. Αυτές οι δύο μέθοδοι δεν αλληλοαποκλείονται και μπορούν τελικά να παράξουν τους ίδιους ήχους. Η διαφορά είναι ότι στην «εκ των υστέρων», καθώς ο ήχος παράγεται μετά την πραγματοποίηση των γεγονότων που δημιούργησαν τα δεδομένα, οι παράμετροι του τελικού κομματιού μπορούν να προσαρμοστούν, π.χ. η συνολική διάρκεια. Σε μια περίπτωση σε πραγματικό χρόνο, μπορείτε να ελέγξετε την χρονική ανάλυση: δηλαδή το χρονικό διάστημα στο οποίο ο ήχος μπορεί να αλλάξει και να αναπαραχθεί.
Ακουστική Οικολογία
Η αισθητική είναι σημαντική. Ένας ήχος μπορεί να έχει σχεδιαστεί με μεγάλη ακρίβεια, αλλά να ακούγεται «απαίσιος» στον χρήστη. Αυτό θα μπορούσε να θεωρηθεί ως ελάττωμα και, ως εκ τούτου, να περιορίσει την αποτελεσματικότητα του συστήματος, καθώς ο χρήστης δεν θα αντέχει να τον ακούει. Από την άλλη πλευρά (π.χ. στις ειδοποιήσεις), ο ήχος μπορεί να είναι σκόπιμα θορυβώδης και επιθετικός. Η επιλογή του εξηγμένου ήχου είναι κατά κάποιον τρόπο καλλιτεχνική, με την έννοια ότι πρέπει να λαμβάνει υπόψη τον τύπο του κοινού και τις προτιμήσεις του. Αυτό δεν σημαίνει ότι είμαστε υποχρεωμένοι να παίξουμε κάτι που θα αρέσει στον χρήστη, αλλά τουλάχιστον να γνωρίζουμε τί είδους ήχος του είναι οικείος. Ακόμα και αν η προτίμηση είναι υποκειμενική, θα θέλαμε να υπενθυμίσουμε το έργο που έχει γίνει στον τομέα της ακουστικής οικολογίας. Υπάρχουν ορισμένοι κοινοί παράγοντες που υποδεικνύονται από ψυχολογικές μελέτες, καθώς και πολιτισμικά μοντέλα «ωραίου». Στο παρόν έργο, όπως υποδηλώνει και το όνομά του, αναφερόμαστε στο έργο και το όραμα του Καναδού συνθέτη Murray Schafer, ο οποίος διέδωσε τον όρο «ηχοτοπίο» στο βιβλίο του «The Tuning Of The World» το 1977[8].[8] Τα ηχοτοπία μπορούν απλά να θεωρηθούν ως μια σύνθεση της ανθρωποφωνίας, της γεωφωνίας και της βιοφωνίας ενός συγκεκριμένου περιβάλλοντος. Ο συγγραφέας υποστηρίζει ότι έχουμε αποευαισθητοποιηθεί απέναντι στους πλούσιους ήχους του περιβάλλοντός μας, το οποίο ονομάζει «ηχοτοπίο». Αυτό το ηχοτοπίο περιλαμβάνει όλους τους φυσικούς και τους ανθρωπογενείς ήχους που μας περιβάλλουν, και ο Schafer πιστεύει ότι πρέπει να μάθουμε να το εκτιμούμε και να το διαχειριζόμαστε για έναν καλύτερο κόσμο. Το έργο του δημιούργησε το «κίνημα της ακουστικής οικολογίας», το οποίο στοχεύει στη μελέτη της σχέσης μεταξύ ανθρώπων, ζώων και φύσης, από την άποψη του ήχου και των ηχοτοπίων. Το Ινστιτούτο Ακουστικής Οικολογίας ιδρύθηκε για να ευαισθητοποιήσει το κοινό σχετικά με τις επιπτώσεις των θορυβωδών ακουστικών περιβαλλόντων, τα οποία έχει αποδειχθεί ότι είναι επιβλαβή για την αύξηση των επιπέδων άγχους στα άτομα όταν βυθίζονται σε αυτά.
Παραδείγματα
Το SonarX είναι ένα λογισμικό που έχει σχεδιαστεί για να μετατρέπει εικόνες και βίντεο σε κατανοητούς ήχους για άτομα με προβλήματα όρασης αλλά και όλους.[9] Λειτουργεί στο Pure Data[10] και μπορείτε να το κατεβάσετε από αυτό το αποθετήριο του GitHub. [11]
Ορισμένα ιστορικά στοιχεία
Οι βαθμίδες της κλίμακας ως ηχοποίηση των θεμελιωδών αναλογιών (1/2, 2/3, 3/4)
Κατά την απόλυτη έννοια Θεωρίας της Αρμονίας στη Μουσική, η κατανόηση των αρμονικών σχέσεων που διέπουν τους ήχους διατρέχει την μαθηματική σχέση αναλογιών οι οποίες ανταποκρίνονται στα μεγέθη μήκους, τάσης και υλικών χαρακτηριστικών των υλικών που τους παράγουν [12]. Ο καθορισμός της συνολικής έκτασης και των διαστημάτων που διέπουν την διατονική κλίμακα έχει σαφή αναφορά στις θεμελιώδεις αναλογίες της πυθαγόρειας «Τετρακτύος».
Οι αναλογίες
Αν υπολογίσουμε τον αριθμό μερών της ύλης που τίθεται σε παλμική κίνηση, αν δηλαδή ο αριθμός «2» αντιστοιχεί στα δυο ίσα μέρη στα οποία μια χορδή χωρίζεται παράγοντας την οκτάβα (η οποία είναι πάλι C όπως δείχνει η πρώτη στήλη αλλά οξύτερο), και δεχτούμε ότι για την παραγωγή του C (Ντο) χρειάζονται 129 παλμοί, τότε στον παρακάτω πίνακα αποτυπώνεται η αντιστοίχιση φθόγγων στην αριστερή στήλη και συχνοτήτων στη μεσαία στήλη, με τον αριθμό των μερών που τίθενται σε κίνηση στην τρίτη στήλη.
Η σχέση 1 προς 2 (1/2) μας δίνει και την διαστηματική σχέση της οκτάβας. Με βάση το σχετικό διάγραμμα συχνοτήτων (αριθμού παλμών) η αντίστοιχη συχνοτική αναλογία είναι 129/259. Η σχέση λοιπόν 2 προς 3 (2/3) μας δίνει και την διαστηματική σχέση (interval) η οποία αντιστοίχως ορίζει και τη συχνοτική αναλογία 259/388. Η παρατήρηση, επομένως, αναλογιών που ίσως προκύπτουν ανάμεσα σε δυο, ή και περισσότερα, αριθμητικά μεγέθη υπολογισμού, μέτρησης ή καταγραφής σειράς δεδομένων, μπορεί να αποτελέσει επίσης έναυσμα δημιουργίας ηχοποίησης.
Η χρωματική μουσική κλίμακα, οι «σειρές» και ο ολιστικός σειραϊσμός
Η ιστορική ιδέα της αντιστοίχισης των φθόγγων της διατονικής κλίμακας με τη σειρά των φυσικών αριθμών χρονολογείται ήδη από τον 17ο αιώνα, ωστόσο η πρώτη καταχώρηση στην Γαλλική Ακαδημία Επιστημών πραγματοποιείται από τον φιλόσοφο και μουσικό Jean Jacque Rousseau (1712-1778)[13].
Σύμφωνα με αυτή, κάθε διαδοχικός ανιών φθόγγος της μουσικής κλίμακας μπορεί να αριθμηθεί με τη σειρά των φυσικών αριθμών. Επί παραδείγματι, αν αντιστοιχίσουμε το Λά (Α στο Λατινικό Σολφέζ) με το 1 τότε έχουμε την ακόλουθη αντιστοίχιση (χάρτη αντιστοίχισης):
Αν η κλίμακα επίσης είναι χρωματική, τότε μπορούμε να έχουμε την ακόλουθη διάταξη:
Η περίπτωση της Πολυαγωγίας του Ι. Ξενάκη
Ο Ιάννης Ξενάκης (1922-2001) υπήρξε πρωτοπόρος αρχιτέκτονας και συνθέτης του 20ου αιώνα. Η έννοια της σχηματικής ηχοποίησης με ηλεκτρονικά μέσα όπως περιγράφτηκε παραπάνω, της μετατροπής δηλαδή ενός σχήματος σε ήχο κατά την ανάλογη σχέση μετατροπής δεδομένων σε γράφημα, μελετήθηκε από τον Ξενάκη ήδη από την δεκαετία του 50, ωστόσο πήρε την τελική της μορφή στα τέλη της δεκαετίας του ’70. Καταργώντας την διαμεσολάβηση τυπικής εκπαίδευσης, ο Ξενάκης τόλμησε να θεμελιώσει έναν κόσμο ολιστικής ηχοποιητικής εμπειρίας καθώς συνέλαβε, σχεδίασε και υλοποίησε την ηχητική απόδοση γραφημάτων με τη μορφή ολοκληρωμένου συστήματος. Το σύστημα αυτό περιελάμβανε ηλεκτρονικομαγνητική γραφίδα σε αρχιτεκτονικό καμβά σχεδιασμού, συνδεδεμένο με ηλεκτρονικό υπολογιστή και ηχεία, ονομάστηκε στα ελληνικά «Πολυαγωγία» (Unité Polyagogique Informatique de CEMAMu/U.P.I.C.) Η παιδαγωγική διάσταση αυτής της σύνδεσης υπογραμμίστηκε νωρίς από τον Ξενάκη. Η παρακάτω εικόνα αποκαλύπτει εύγλωττα αυτήν την σύνδεση καθώς διακρίνεται ο αρχιτεκτονικός καμβάς σε αντιστοιχία με τα πλήκτρα ενός πιάνου (κάθετα στο πεδίο).
Το Κέντρο Ιάννη Ξενάκη (Centre Iannis Xenakis) έχει αναπτύξει την σύγχρονη εκπαιδευτική εκδοχή της Πολυαγωγίας σε εφαρμογή, με τον τίτλο UPISKETCH, η οποία είναι ελεύθερα διαθέσιμη σε αυτή τη σελίδα: https://www.centre-iannis-xenakis.org/upisketch?lang=en
Παραπομπές
- ↑ "The Sonification Report: Status of the Field and Research Agenda", Gregory Kramer, Bruce N. Walker, Terri Bonebright, Perry Cook, John Flowers, Nadine Miner, 1999, International Community for Auditory Display (ICAD)
- ↑ Hermann, T., Walker, B., & Cook, P. R. (2011). Sonification handbook. Springer.
- ↑ wikipedia as on 9th of April 2024
- ↑ "The sound of an atom has been captured" (K 2025 news article) - http://www.themindgap.nl/?p=245
- ↑ Argan Verrier, Vincent Goudard, Elim Hong, Hugues Genevois. Interactive software for the sonifica- tion of neuronal activity. Sound and Music Computing Conference, AIMI (Associazione Italiana di Informatica Musicale); Conservatorio “Giuseppe Verdi” di Torino, Università di Torino, Politecnico di Torino, Jun 2020, Torino (Virtual Conference), Italy. hal-04041917
- ↑ (Data Sonification: Acclaimed Musician Transforms Ocean Data into Music) https://www.hubocean.earth/blog/data-sonification as on 23rd September 2024
- ↑ Interactive 3D sonification for the exploration of city maps | Proceedings of the 4th Nordic conference on Human-computer interaction: changing roles
- ↑ Schafer, R. M. (1977). The Tuning of the World. New York: Knopf.
- ↑ S. Cavaco, J.T. Henrique, M. Mengucci, N. Correia, F. Medeiros, Color sonification for the visually impaired, in Procedia Technology, M. M. Cruz-Cunha, J. Varajão, H. Krcmar and R. Martinho (Eds.), Elsevier, volume 9, pages 1048-1057, 2013.
- ↑ http://puredata.info/
- ↑ https://github.com/LabIO/Sonarx-45 as on 23rd September 2024
- ↑ P.Stergiopoulos Music and STEM. Multiple sides of the same coin. International Conference | STE(A)M educators & education. Conference proceedings STEAM on EDU 2021, p.202-220. ISBN: 978-618-5497-24-8. (Link: https://www.schoolofthefuture.eu/sites/default/files/2026-02/Music%20and%20STEM%20-%20Multiple%20sides%20of%20the%20same%20coin.pdf)
- ↑ Jean-Jacques Souhaitty, “Essai du chant de l'Eglise par la nouvelle methode des nombres”, Paris 1679 https://gallica.bnf.fr/ark:/12148/bpt6k1512317k