Sonification in practice/el

Η ηχοποίηση στην πράξη, για εκπαιδευτικούς σκοπούς, αποτελεί μια διαδικασία διερεύνησης κάθε δυνατότητας η οποία απαντά ουσιαστικά στο ερώτημα: «Πώς μπορώ με ήχο να αναδείξω ή να καταδείξω, μια ή περισσότερες πληροφορίες ή συμπεράσματα τα οποία προκύπτουν από μια κίνηση, μέτρηση, ή φαινόμενο το οποίο είτε υπάρχει είτε εξελίχθηκε είτε εξελίσσεται μέσα στο χρόνο;». Τα υπάρχοντα δεδομένα που έχουμε στη διάθεσή μας, οι συνθήκες και οι τρόποι συλλογής τους αλλά και ο εκπαιδευτικός σκοπός για τον οποίο η ηχοποίηση προορίζεται, είναι οι καθοριστικοί παράγοντες για την αξιοποίηση μιας ηχοποίησης.

Οι ακόλουθοι παράγοντες διαμορφώνουν και την σχέση των εκπαιδευτικών αναγκών τόσο με την έννοια του ήχου όσο και της συγκροτημένης παράθεσής του μέσα στο χρόνο, δηλαδή την έννοια της μουσικής.

Πτυχές της διδασκαλίας με ηχοποίηση ως μουσική πρακτική

Η αδιαμφισβήτητη σχέση ήχου και αριθμών με την έννοια της ανάλυσης του ήχου σε συχνότητες ή αρμονικούς, διέπει ούτως ή άλλως ένα αρκούντως δομημένο πλαίσιο διαθεματικής διδασκαλίας με τη χρήση ήχου στο οποίο όλες οι πτυχές του STEAM δύνανται να υπηρετηθούν. Καθώς η έννοια του χρόνου καθορίζει το ηχητικό φαινόμενο, η παραστατική πράξη ενός ηχητικού αποτελέσματος δεν μπορεί παρά να βρίσκεται στο επίκεντρο οποιασδήποτε διδακτικής προσέγγισης. Κατ’ επέκταση, η οργανωμένη παράθεση ηχητικών στοιχείων στο χρόνο με τρόπο αρμονικό -τόσο ως προς τον ρυθμό, την ένταση, την χροιά, το τονικό ύψος όσο και ως προς την βαθμιδική θέση τους στην μουσική κλίμακα, διατονική ή μη - συνιστά ένα μουσικό αποτέλεσμα. Η έλλογη αυτή οργάνωση από τον άνθρωπο δύναται να αποτελέσει πεδίο πειραματισμού μουσικής σύνθεσης ενώ η παραμετροποίηση όλων των παραπάνω εννοιών μπορεί να εμπλουτίσει οποιοδήποτε διδακτικό στόχο εξαρτάται από την εξέλιξη ενός φαινομένου μέσα στο χρόνο ή την μετατροπή δεδομένων σε ήχο.

Έτσι μπορούμε εύλογα να διακρίνουμε την έννοια της ηχοποίησης για εκπαιδευτικούς σκοπούς σε τρεις βασικές προσεγγίσεις:

• Την συμβολική ηχοποίηση

• Την μαθηματική ηχοποίηση

• Την προσαρμόσιμη ηχοποίηση

Η συμβολική ηχοποίηση=

Η εκφορά χαρακτηριστικών του ήχου, δηλαδή: τονικό ύψος, ένταση, χροιά, ρυθμός επανάληψης (εφόσον υπάρχει) και διάρκεια, τα οποία συνδέονται με επιστημονική έννοια, όρο, μέγεθος, χωρίς να αντιστοιχίζονται λογικά με σύνολο δεδομένων (data-mapping), αποτελεί αντικείμενο συμβολικής ηχοποίησης.

Ένα απλό παράδειγμα θα ήταν να «ζωγραφίζαμε ηχητικά» ένα γκρίζο σύννεφο δημιουργώντας έναν θόρυβο χαμηλών συχνοτήτων και ένα άσπρο σύννεφο με θόρυβο υψηλών συχνοτήτων. Ένα άλλο παράδειγμα θα είχαμε αν μια τάξη μαθητών αναπαριστούσε τον ήχο της βροχής να χτυπούν τυχαία τα νύχια τους στα θρανία τους. Ένα άλλο παράδειγμα που σχετίζει τη μελοποίηση με τη μουσική είναι το leitmotif. Το leitmotif είναι ένα σύντομο μελωδικό θέμα λίγων συγκεκριμένων φθόγγων το οποίο, ως μοναδικό μοτίβο (πρότυπο), συνδέεται με έναν χαρακτήρα σε μια όπερα που παίζεται από την ορχήστρα, ιδιαίτερα στις όπερες του Βάγκνερ. Το leitmotif ενός χαρακτήρα φέρνει στο νου τον χαρακτήρα καθ' όλη τη διάρκεια του έργου, είτε ο χαρακτήρας βρίσκεται στη σκηνή είτε όχι! Μεταφέροντάς το σε μια σειρά δεδομένων, ένα τέτοιο leitmotif θα μπορούσε να αντικαταστήσει τον αναμενόμενο ήχο μιας εξέχουσας χαμηλής, συγκεκριμένης ή υψηλής τιμής (ή περιοχή τιμών) χωρίς να έχει συνοχή ούτε να προκύπτει από τα γειτονικά δεδομένα.

Μαθηματική ηχοποίηση

Ο ήχος, του οποία τα χαρακτηριστικά - τονικό ύψος, ένταση, χροιά, ρυθμός επανάληψης (εφόσον υπάρχει) και διάρκεια- διατρέχουν διανυσματικά σύνολο δεδομένων μέτρησης συνδεδεμένο με μέγεθος, όρο, ή επιστημονική έννοια και διαμορφώνονται ως αποτέλεσμα λογικής αντιστοίχισης με ένα ή περισσότερα μέρη του συνόλου αυτού (direct data-mapping), είναι αποτέλεσμα μαθηματικής ηχοποίησης.

Ένα παράδειγμα που εξηγεί άριστα την παραπάνω διάκριση, εκμεταλλευόμενο κυρίως το χαρακτηριστικό του ρυθμού, είναι αυτό του μηχανισμού ηχητικής απόδοσης της απόστασης ενός αυτοκινήτου από το διπλανό του κατά διάρκεια στάθμευσης που διαθέτουν τα αυτοκίνητα. Η συχνότητα επανάληψης του στιγμιαίου αυτού ηχητικού σήματος διαμορφώνει ένα μοτίβο επανάληψης του οποίο ο ρυθμός μεταβάλλεται (αργό-γρήγορο) ανάλογα με τα δεδομένα εγγύτητας στο εμπόδιο τα οποία λαμβάνονται με μεγάλη ακρίβεια από αισθητήρα.

Για να κατανοήσουμε την διαφορά συμβολικής και μαθηματικής ηχοποίησης μπορούμε να μεταφέρουμε τα προηγούμενα παραδείγματα ως «δραστηριότητες χωρίς ηλεκτρονικά μέσα» σε μια τάξη. Μαθηματική ηχοποίηση στο παράδειγμα του σύννεφου θα είχαμε αν ορίζαμε ένα κατώφλι χρώματος για τον ορισμό άσπρου ή γκρίζου και αποδίδοντας με εκατομμύρια κόκκους συχνότητας ελάχιστης διάρκειας (νεφελώματα ήχου) τα σταγονίδια από τα οποία τα σύννεφα αποτελούνται. Στο παράδειγμα της βροχής, μαθηματική ηχοποίηση θα είχαμε αν οι μαθητές απέδιδαν με απόλυτη ακρίβεια μια προς μια κάθε σταγόνα της βροχής σε συγκεκριμένο χρόνο και εμβαδό επιφάνειας. Τέλος στο παράδειγμα του «παρκαρίσματος» συμβολική ηχοποίηση θα είχαμε αν τον ρόλο του αισθητήρα θα αναλάμβαναν τα μάτια των μαθητών όπου τα δεδομένα θα εκτιμούνταν οπτικά χωρίς απόλυτη μαθηματική μέτρηση.

Η προσαρμόσιμη ηχοποίηση

Ένας ηχητικός σχεδιασμός (sound design) ή, κατ’ επέκταση, μια μουσική σύνθεση, ως αποτέλεσμα μαθηματικής ηχοποίησης όπου όμως με δημιουργικό τρόπο αξιοποιούνται μέθοδοι αισθητικής απόδοσης του ήχου καλύπτοντας διδακτικούς στόχους περιγραφής της διδασκόμενης έννοιας, είναι αποτέλεσμα προσαρμόσιμης ηχοποίησης.

Επιπροσθέτως η επεξεργασία των μεθόδων αντιστοίχισης δεδομένων (data-mapping) με την διατονική κλίμακα, ανοίγει ένα γόνιμο πεδίο διερεύνησης των στοιχείων εκείνων που εξυπηρετούν τους διδακτικούς στόχους καθιστώντας το ηχητικό αποτέλεσμα επεξεργάσιμο με όρους μουσικής σύνθεσης. H αξιοποίηση του πρωτοκόλλου MIDI (Musical Instrument Digital Interface) για την επεξεργασία του ήχου ή την ανάδειξη μουσικών μοτίβων -τα οποία μπορούν ως αφετηρία να χρησιμεύσουν στην δημιουργία μουσικής σύνθεσης- επεκτείνει άριστα την προσαρμόσιμη ηχοποίηση. Μάλιστα η γραφική απεικόνιση δεδομένων (γραφική παράσταση) μπορεί να μετατραπεί με δημιουργικό τρόπο σε ήχο αντιμετωπίζοντας την παράσταση ως δισδιάστατη εικόνα, ή ακόμα και φωτογραφία ως τρισδιάστατη εικόνα. Το αποτέλεσμα αποδίδεται με τον όρο σχηματική ηχοποίηση (schematic sonification).

Η προσαρμόσιμη προσέγγιση διευρύνει την πρόσβαση στο ηχητικό αποτέλεσμα της ηχοποίησης δεδομένων σε ευρεία έκταση ηλικιακών ομάδων και σχολικών βαθμίδων καλώντας εκπαιδευτικούς άλλων ειδικοτήτων όπως, Καλλιτεχνικών, Θεάτρου και Μουσικής, να συμμετέχουν ενεργά στην διαθεματική διδασκαλία. Παράδειγμα αυτής της προσέγγισης εφαρμόστηκε στο σενάριο «Ήχοι των Άστρων».

THE MIDI protocol. Why is it useful for sonification in school?

MIDI Protocol stands for Musical Instrument Digital Interface and was introduced in early ’80s as machine language allowing analog and later digital instruments interconnection. This language interprets several aspects of music performance and notation in an electronic format.

MIDI enables the user to receive, transmit, store and edit electronically produced signals that correspond to several aspects of music. Main parameters of these aspects include note-on, note-off, velocity, timbre and pitch. All these parameters can be stored as code in timeline fashion within a MIDI file. A MIDI file resembles the “program” in the form of a revolving cylinder or perforated paper used in late 18th c. music boxes or early 20th c. “pianolas”, which are musical automata. It is this characteristic that can be proved enormously useful for educational purposes, as numerous midi applications, sensors and programs are widely spread throughout the internet. Within the present WIKI pages sensors using MIDI in particular, are widely displayed.

In the following pages, practical ways to handle data sets coming either from measurements or from sensors are described as: Unplugged activities, Real-time sonification and ''a posteriori'' sonification.

A sonification activity consistes in the design and buidling of a sonification system. A sonification system can be accomplished in many different ways but 3 components must always be considered: 1) INPUT DATA; 2) MAPPING PROTOCOL; 3) AUDIO OUTPUT;

Data Input

Mapping Protocol

Audio Output

Unplugged activities

Real-time sonification

''a posteriori'' sonification