Ηχοποίηση στην πράξη

Η ηχοποίηση στην πράξη, για εκπαιδευτικούς σκοπούς, αποτελεί μια διαδικασία διερεύνησης κάθε δυνατότητας η οποία απαντά ουσιαστικά στο ερώτημα: «Πώς μπορώ με ήχο να αναδείξω ή να καταδείξω, μια ή περισσότερες πληροφορίες ή συμπεράσματα τα οποία προκύπτουν από μια κίνηση, μέτρηση, ή φαινόμενο το οποίο είτε υπάρχει είτε εξελίχθηκε είτε εξελίσσεται μέσα στο χρόνο;». Τα υπάρχοντα δεδομένα που έχουμε στη διάθεσή μας, οι συνθήκες και οι τρόποι συλλογής τους αλλά και ο εκπαιδευτικός σκοπός για τον οποίο η ηχοποίηση προορίζεται, είναι οι καθοριστικοί παράγοντες για την αξιοποίηση μιας ηχοποίησης.

Οι ακόλουθοι παράγοντες διαμορφώνουν και την σχέση των εκπαιδευτικών αναγκών τόσο με την έννοια του ήχου όσο και της συγκροτημένης παράθεσής του μέσα στο χρόνο, δηλαδή την έννοια της μουσικής.

Πτυχές της διδασκαλίας με ηχοποίηση ως μουσική πρακτική

Η αδιαμφισβήτητη σχέση ήχου και αριθμών με την έννοια της ανάλυσης του ήχου σε συχνότητες ή αρμονικούς, διέπει ούτως ή άλλως ένα αρκούντως δομημένο πλαίσιο διαθεματικής διδασκαλίας με τη χρήση ήχου στο οποίο όλες οι πτυχές του STEAM δύνανται να υπηρετηθούν. Καθώς η έννοια του χρόνου καθορίζει το ηχητικό φαινόμενο, η παραστατική πράξη ενός ηχητικού αποτελέσματος δεν μπορεί παρά να βρίσκεται στο επίκεντρο οποιασδήποτε διδακτικής προσέγγισης. Κατ’ επέκταση, η οργανωμένη παράθεση ηχητικών στοιχείων στο χρόνο με τρόπο αρμονικό -τόσο ως προς τον ρυθμό, την ένταση, την χροιά, το τονικό ύψος όσο και ως προς την βαθμιδική θέση τους στην μουσική κλίμακα, διατονική ή μη - συνιστά ένα μουσικό αποτέλεσμα. Η έλλογη αυτή οργάνωση από τον άνθρωπο δύναται να αποτελέσει πεδίο πειραματισμού μουσικής σύνθεσης ενώ η παραμετροποίηση όλων των παραπάνω εννοιών μπορεί να εμπλουτίσει οποιοδήποτε διδακτικό στόχο εξαρτάται από την εξέλιξη ενός φαινομένου μέσα στο χρόνο ή την μετατροπή δεδομένων σε ήχο.

Έτσι μπορούμε εύλογα να διακρίνουμε την έννοια της ηχοποίησης για εκπαιδευτικούς σκοπούς σε τρεις βασικές προσεγγίσεις:

• Την συμβολική ηχοποίηση

• Την μαθηματική ηχοποίηση

• Την προσαρμόσιμη ηχοποίηση

Η συμβολική ηχοποίηση

Η εκφορά χαρακτηριστικών του ήχου, δηλαδή: τονικό ύψος, ένταση, χροιά, ρυθμός επανάληψης (εφόσον υπάρχει) και διάρκεια, τα οποία συνδέονται με επιστημονική έννοια, όρο, μέγεθος, χωρίς να αντιστοιχίζονται λογικά με σύνολο δεδομένων (data-mapping), αποτελεί αντικείμενο συμβολικής ηχοποίησης.

Ένα απλό παράδειγμα θα ήταν να «ζωγραφίζαμε ηχητικά» ένα γκρίζο σύννεφο δημιουργώντας έναν θόρυβο χαμηλών συχνοτήτων και ένα άσπρο σύννεφο με θόρυβο υψηλών συχνοτήτων. Ένα άλλο παράδειγμα θα είχαμε αν μια τάξη μαθητών αναπαριστούσε τον ήχο της βροχής να χτυπούν τυχαία τα νύχια τους στα θρανία τους. Ένα άλλο παράδειγμα που σχετίζει τη μελοποίηση με τη μουσική είναι το leitmotif. Το leitmotif είναι ένα σύντομο μελωδικό θέμα λίγων συγκεκριμένων φθόγγων το οποίο, ως μοναδικό μοτίβο (πρότυπο), συνδέεται με έναν χαρακτήρα σε μια όπερα που παίζεται από την ορχήστρα, ιδιαίτερα στις όπερες του Βάγκνερ. Το leitmotif ενός χαρακτήρα φέρνει στο νου τον χαρακτήρα καθ' όλη τη διάρκεια του έργου, είτε ο χαρακτήρας βρίσκεται στη σκηνή είτε όχι! Μεταφέροντάς το σε μια σειρά δεδομένων, ένα τέτοιο leitmotif θα μπορούσε να αντικαταστήσει τον αναμενόμενο ήχο μιας εξέχουσας χαμηλής, συγκεκριμένης ή υψηλής τιμής (ή περιοχή τιμών) χωρίς να έχει συνοχή ούτε να προκύπτει από τα γειτονικά δεδομένα.

Η Μαθηματική ηχοποίηση

Ο ήχος, του οποία τα χαρακτηριστικά - τονικό ύψος, ένταση, χροιά, ρυθμός επανάληψης (εφόσον υπάρχει) και διάρκεια- διατρέχουν διανυσματικά σύνολο δεδομένων μέτρησης συνδεδεμένο με μέγεθος, όρο, ή επιστημονική έννοια και διαμορφώνονται ως αποτέλεσμα λογικής αντιστοίχισης με ένα ή περισσότερα μέρη του συνόλου αυτού (direct data-mapping), είναι αποτέλεσμα μαθηματικής ηχοποίησης.

Ένα παράδειγμα που εξηγεί άριστα την παραπάνω διάκριση, εκμεταλλευόμενο κυρίως το χαρακτηριστικό του ρυθμού, είναι αυτό του μηχανισμού ηχητικής απόδοσης της απόστασης ενός αυτοκινήτου από το διπλανό του κατά διάρκεια στάθμευσης που διαθέτουν τα αυτοκίνητα. Η συχνότητα επανάληψης του στιγμιαίου αυτού ηχητικού σήματος διαμορφώνει ένα μοτίβο επανάληψης του οποίο ο ρυθμός μεταβάλλεται (αργό-γρήγορο) ανάλογα με τα δεδομένα εγγύτητας στο εμπόδιο τα οποία λαμβάνονται με μεγάλη ακρίβεια από αισθητήρα.

Για να κατανοήσουμε την διαφορά συμβολικής και μαθηματικής ηχοποίησης μπορούμε να μεταφέρουμε τα προηγούμενα παραδείγματα ως «δραστηριότητες χωρίς ηλεκτρονικά μέσα» σε μια τάξη. Μαθηματική ηχοποίηση στο παράδειγμα του σύννεφου θα είχαμε αν ορίζαμε ένα κατώφλι χρώματος για τον ορισμό άσπρου ή γκρίζου και αποδίδοντας με εκατομμύρια κόκκους συχνότητας ελάχιστης διάρκειας (νεφελώματα ήχου) τα σταγονίδια από τα οποία τα σύννεφα αποτελούνται. Στο παράδειγμα της βροχής, μαθηματική ηχοποίηση θα είχαμε αν οι μαθητές απέδιδαν με απόλυτη ακρίβεια μια προς μια κάθε σταγόνα της βροχής σε συγκεκριμένο χρόνο και εμβαδό επιφάνειας. Τέλος στο παράδειγμα του «παρκαρίσματος» συμβολική ηχοποίηση θα είχαμε αν τον ρόλο του αισθητήρα θα αναλάμβαναν τα μάτια των μαθητών όπου τα δεδομένα θα εκτιμούνταν οπτικά χωρίς απόλυτη μαθηματική μέτρηση.

Η προσαρμόσιμη ηχοποίηση

Ένας ηχητικός σχεδιασμός (sound design) ή, κατ’ επέκταση, μια μουσική σύνθεση, ως αποτέλεσμα μαθηματικής ηχοποίησης όπου όμως με δημιουργικό τρόπο αξιοποιούνται μέθοδοι αισθητικής απόδοσης του ήχου καλύπτοντας διδακτικούς στόχους περιγραφής της διδασκόμενης έννοιας, είναι αποτέλεσμα προσαρμόσιμης ηχοποίησης.

Επιπροσθέτως η επεξεργασία των μεθόδων αντιστοίχισης δεδομένων (data-mapping) με την διατονική κλίμακα, ανοίγει ένα γόνιμο πεδίο διερεύνησης των στοιχείων εκείνων που εξυπηρετούν τους διδακτικούς στόχους καθιστώντας το ηχητικό αποτέλεσμα επεξεργάσιμο με όρους μουσικής σύνθεσης. H αξιοποίηση του πρωτοκόλλου MIDI (Musical Instrument Digital Interface) για την επεξεργασία του ήχου ή την ανάδειξη μουσικών μοτίβων -τα οποία μπορούν ως αφετηρία να χρησιμεύσουν στην δημιουργία μουσικής σύνθεσης- επεκτείνει άριστα την προσαρμόσιμη ηχοποίηση. Μάλιστα η γραφική απεικόνιση δεδομένων (γραφική παράσταση) μπορεί να μετατραπεί με δημιουργικό τρόπο σε ήχο αντιμετωπίζοντας την παράσταση ως δισδιάστατη εικόνα, ή ακόμα και φωτογραφία ως τρισδιάστατη εικόνα. Το αποτέλεσμα αποδίδεται με τον όρο σχηματική ηχοποίηση (schematic sonification).

Η προσαρμόσιμη προσέγγιση διευρύνει την πρόσβαση στο ηχητικό αποτέλεσμα της ηχοποίησης δεδομένων σε ευρεία έκταση ηλικιακών ομάδων και σχολικών βαθμίδων καλώντας εκπαιδευτικούς άλλων ειδικοτήτων όπως, Καλλιτεχνικών, Θεάτρου και Μουσικής, να συμμετέχουν ενεργά στην διαθεματική διδασκαλία. Παράδειγμα αυτής της προσέγγισης εφαρμόστηκε στο σενάριο «Ήχοι των Άστρων» σε συνεργασία με το Εθνικό Αστεροσκοπείο Αθηνών (κονότητα Ήχοι των Άστρων). Το σενάριο είναι μέρος του αποθετηρίου εκπαιδευτικών σεναρίων του SoundScapes .

THE MIDI protocol. Why is it useful for sonification in school?

MIDI Protocol stands for Musical Instrument Digital Interface and was introduced in early ’80s as machine language allowing analog and later digital instruments interconnection. This language interprets several aspects of music performance and notation in an electronic format.

Το MIDI επιτρέπει στον χρήστη να λαμβάνει, να μεταδίδει, να αποθηκεύει και να επεξεργάζεται ηλεκτρονικά παραγόμενα σήματα που αντιστοιχούν σε διάφορες πτυχές της μουσικής. Οι κύριες παράμετροι αυτών των πτυχών περιλαμβάνουν το note-on, το note-off, την ταχύτητα, το ηχόχρωμα και το ύψος. Όλες αυτές οι παράμετροι μπορούν να αποθηκευτούν ως κώδικας με τη μορφή χρονοδιαγράμματος μέσα σε ένα αρχείο MIDI. Ένα αρχείο MIDI μοιάζει με το «πρόγραμμα» με τη μορφή ενός περιστρεφόμενου κυλίνδρου ή διάτρητου χαρτιού που χρησιμοποιούνταν στα μουσικά κουτιά του τέλους του 18ου αιώνα ή στις «πιανόλες» των αρχών του 20ού αιώνα, τα οποία είναι μουσικά αυτόματα. Αυτή η ιδιότητα μπορεί να αποδειχθεί εξαιρετικά χρήσιμη για εκπαιδευτικούς σκοπούς, καθώς πολυάριθμες εφαρμογές MIDI, αισθητήρες και προγράμματα είναι ευρέως διαδεδομένα στο διαδίκτυο. Η δυνατότητα, όμως, επεξεργασίας του αποτελέσματος ως παρτιτούρας μουσικής ή ως κομμάτι φωνής πολυφωνικής σύνθεσης, είναι αυτή που καθιστά το MIDI ένα εξαιρετικά δυνατό εκπαιδευτικό εργαλείο. Στις παρούσες σελίδες του WIKI παρουσιάζονται εκτενώς αισθητήρες που χρησιμοποιούν MIDI.

Sonification components

A sonification activity consists in the design and building of a sonification system. A sonification system can be accomplished in many different ways but 3 components must always be considered:

1) INPUT DATA;

2) MAPPING PROTOCOL;

3) AUDIO OUTPUT;

Input Data

In a sonification system, which is our final product, the data is the source of the sound engine, and some particular sounds will be the output. The inputs and outputs are mapped onto each other following a protocol that establishes which sounds are played according to which data. So first we need to know and understand the data we want to sonify. We must know what we want to say with our system - what we will talk about. We must know how the data change (usually we have time based data but there can also be spatially referenced data, like maps) and what characteristics of its behavior we want to represent. For example if you have a single value (like luminosity of a star, linear position of a car, amount of likes in a youtube channel, number of new posts on wikipedia, etc) you can choose to play a sound when this value is more than a certain threshold value, or play a sound that gets louder when the values becomes higher, or a sound when the values are raising or decreasing in time. In some cases it is useful to determine the highest and the lowest value within the whole range of values available. In terms of outputs this can help define a “container” of initial values that can define the range of deviations in the output. We can highlight certain features of data. There are many types of data. The most common are: 

Single data: indicating a state ON-OFF (boolean data).

A single data value covering a range of values: usually mapped to a single sound or sound feature like the pitch, or bpm (beats per minute), or an effect, but it can control more than one feature or sound at once.

Multiple data: more than one data of the previous type. Usually there are many types of data collected at the same time so these data sets consist of several layers of synchronized data.

Sound has the advantage over visual perception that more layers of data can be perceived at the same time. Changes in patterns are more easily detected listening than looking at. Especially if the amount of data is very large. So, in sum, we need to consider the data we have, how they evolve in time, how they are arranged and what are the salient parts we want to use to feed our sonification system. We have to ask ourselves “what will the sound mean?” We need to understand that data is not the message! We must metabolize the data and their behavior and find what message will be triggering sound.

And, therefore, before this we need to ask ourselves what is the purpose of the sonification? Will it be applied continuously, maybe in the background, or just after some time of collecting data, or both?

Real-Time Sonification vs “A Posteriori”

Acording to the use of the sonification system (to analyze or to monitor a certain phenomena) we distinguish two “modes”:

Real-time (to monitor) - a stream of data is sonifed instantly and a sound is produced to display the value and behavior of the data in that particular moment;

“A posteriori” (to analyze) - time-series sonification of a set of pre-recorded data is converted into an audio file that displays the values and behavior of the data over the period of time covered by the time-series. 

These two methods are not mutually exclusive and can eventually display the same sounds. The difference is that in an “a posteriori” sonification, because the sound is produced after the events that originated the data, the parameters of the final piece can be adapted, i.e. the total duration. In a real-time case, you can control the time resolution: that is the time interval at which the sound can change and is played.

Mapping Protocol

The mapping protocol is the core of the sonification system. This is where knowledge of input data must be combined with creativity. According to his/her educational needs, the creator of the sonification system makes choices based on his/her character and artistic taste in translating data sets into sound pieces. The mapping protocol is the process or algorithm or function that associates particular sounds to defined data. It is the set of rules by which output sounds correspond to input data. A simple mapping can consist for example in a direct one-to-one correspondence between each value of an input data to a parameter of an output sound, like the pitch. This component of the system is key because here is where the designer of the system selects certain features of the data to be played in a particular manner, in order to highlight them, or not.

So this mapping consists in associating certain data aspects to different auditory parameters, such as pitch, loudness, timbre, and rhythm. For example, the amplitude of a sound can be mapped to the value of a light resistor, or the frequency of a sound can be mapped to the rate of change of the sea level (tides).

Usually the tendency is to map a single feature of the data to a single parameter of output sound but we humans are generally more capable of perceiving differences in sound if such differences manifest concurrently through different properties. So it is not a bad idea to map the same variable onto different psychoacoustic properties of a sound (pitch and volume as an example of the most evident) if we want to emphasize its change and dynamics.

Our sense of hearing is able to focus on a particular sound in between many others (see the “cocktail party effect”) (Arons, B., 1992) based on timbre. Our auditory system can process information at a far higher rate than our visual system. For example, while video typically updates at 60 frames per second (60 Hz), standard audio is sampled at 44,100 times per second (44.1 kHz). This means that even a single, brief spike in an audio signal—lasting just one sample—is instantly perceived as a distinct "click." As a result, hearing allows us to monitor multiple layers of information simultaneously, often more efficiently than through visual perception alone. (Kramer, G. et al., 1999).

Audio Output

The output sound of the system will be the first characteristic to be perceived by a user. It is its signature, its flavor. It will interact with the user’s taste and we must be aware of that. It is the auditive wrapping to be perceived by an audience and, as studies on sound perception show, it will immediately and unconsciously provoke a good or bad sensation to the listener. We should therefore get used to producing “nice” sound outputs with the device that will be used, be it a microcontroller buzzer or a pc virtual synthesizer or a DAW (Digital Audio Workstation) connected to speakers. We should practice some music, or at least make some noise!

Considering that sound perception is time-based, sonification is by and large focused on rendering continuous data stream over time: this means that the input data of a sonification system could be also come from another domain, like the profile of a territory (geographical data) but all of them will be transferred onto a representation in time which is sound. Sound exists only in time, as variation of pressure detected by our eardrums and transformed into electrical signals in our brain, or broadly in our nervous system. Without getting into the depth of such a fascinating subject we need to clarify a couple of concepts before we move on. Even those who never played or created music know some of the characteristics of sound that we describe here.

Music and Sound: Basic Concepts

Sound is detected by our brain when a variable pressure stimulates our timpani. This is a small membrane that when moved by air pressure (or water if you find yourself under water) generates electrical stimuli that the brain processes as “sound”. If this variable pressure is oscillating regularly at a certain frequency (a certain number of times per second) we hear a tone. That is why tones (or notes) are measured in Hertz (Hz), or cycles per second.

The human hearing is able to sense tones between 20 Hz and 20000 Hz (this range is unique to each one and usually gets smaller with age). The vibrations of pressure with frequencies lower than 20 Hz or higher than 20000 Hz are inaudible. They are called infrasounds and ultrasounds respectively. We do not hear them but we still can sense them, with the touch sense in the case of infrasound and with temperature sense in the case of ultrasound.

The main characteristics of sound are:

Volume or Intensity or loudness: The power of a soundwave (louder more power, softer less power).

Frequency or pitch: The number of times the sound pressure moves back and forth the timpani in our ears. According to music theory some of these frequencies are called notes in the context of tuning systems.

Timbre: Is the spectral characteristic of sound, its sound quality, its fingerprint, a sense of the “color” of the sound. This is what allows us to distinguish between a trumpet or a guitar when they are playing the same note with the same volume. It also allows us to distinguish between our human voices.

There are several other characteristics that define sound but these are the main ones we can use in this context. Other characteristics that could be easily employed in a classroom for sonification are:

Duration: How long each sound lasts.

Rhythm: How frequently the sounds repeat and in what pattern. For example, a metronome is a device that produces short, evenly spaced sounds at a set number of beats per minute (BPM). Other devices use this characteristic as a sonification output (Geiger counter - Wikipedia) and parking devices for cars.

3D Positioning: The position of a sound source in space - for example if the sound comes from the left or right speaker in a stereo system. Far more complex but basically the same concept, are the surround systems 5.1 or 7.1 up to ambisonic systems where the position of the sound source can be even more detailed by using multiple channels (Ambisonic reproduction systems - Wikipedia)

Context is important

When designing the output sounds we need to consider what will be the audience of the designed system. In which settings they will listen to its sounds. It is impossible to be sure about it and to know the taste of our target listeners but it is convenient to think about it.

What is the profile of the listener? Are they young students? What type of sound would they be interested in hearing? but also in what kind of sound-producing interaction could they be engaged in, according to their skills and potentials? Do they perceive changes in less evident sound features, (i.e. timbre)?

The sounds we produce must be considered in the context where they will be played. They should be able to capture the listener's attention and emerge from the background noise, and if possible, not be perceived as noise or annoying. For example, mapping all the values of a single variable to all the values of frequency in a certain range may sound unpleasant compared to mapping it onto a familiar music scale, like the chromatic scale in the western world. Or manipulating the speed of a regular beat instead of playing random time durations can be more effective. It depends on the listener's attitude and taste, of course. Additionally, it is important to consider the sound designers’ own taste. It is convenient to consider who will be the listener, but, on the other side, it is not mandatory to produce mainstream sounds in order to please the supposed “common taste”.

Apart from taste and esthetic considerations, we need to consider factual conditions: in the case of background continuous sound as a product of a sonification to monitor some data stream we should therefore take into account the potential listener fatigue to that type of sound. We can consider the difference of using familiar sounds (for example even recorded samples of voices and sentences of the target listeners) compared to new and special digitally synthesized sounds. Designers of sonification systems should at least be be aware of the variety of different impacts that their sounds can have upon the listener (synthesized sounds could surprise!).

We need to assemble a diverse toolkit of musical techniques and resources. Sonification designers should ensure their palette of sounds is as rich and varied as the data they aim to represent.

Quality of Output

Sonification should not only be comprehensible but also engaging, ideally offering information as effectively as, or even more clearly than visual graph. The quality of the sonification is equally important. This includes both the technical excellence of the audio and its "musical narrative" - how well it describes the evolution of the data while remaining aesthetically pleasing. While "pleasantness" is subjective, an appealing sonification helps maintain the listener’s attention and ensures the data is effectively communicated, as discussed in the Context is Important section.

Sonifications can use either physical (natural) or digital sounds, depending on resources and approach. Physical sounds come from acoustic sources like the human body, percussion, or traditional instruments, performed through notation, gestures, or improvisation. Digital sounds, however, are generated or processed using computers, digital audio workstations (DAWs), or electronic devices. While technical details like compression, sample rate, or bit depth influence digital audio quality, the key point is the impact of the playback system: a high-quality sound system (e.g., computer speakers) will deliver a richer experience than a simple buzzer.

Musical Quality

The designer should consider what type of narrative he/she is inducing in the listener. That means for example using low and scary sounds to represent parameters of global warming (A Song of Our Warming Planet or The sound of climate change from the Amazon to the Arctic).  As we want to stimulate the user to pay attention to our system output it can also be useful to have a survey about what type of music the listener appreciates. A generally and initially acceptable musical sound, with the least possible chance of being rejected by the majority of recipients, would be the one that would obey the fundamental principles of symmetry and proportion, as these have shaped our common perception of “music" in today's world. 

However, Soundscapes project encourages every approach on sonification if it satisfies the creator's inspiration or cultural demands as well as the aesthetical or informative needs of the audience, or the target group it is addressed to.  

In the following pages, practical ways to implement the above approaches with or without handling data sets coming either from measurements or from sensors, are entitled as: Unplugged activities, Real-time sonification and ''a posteriori'' sonification.