Αναπαραγωγή του «The Wall» από καταγραφές εγκεφάλου ασθενών

Η μουσική είναι πολύ σημαντική στη ζωή μας, όμως οι νευρολογικές διεργασίες που μας επιτρέπουν να την αντιλαμβανόμαστε, παραμένουν άγνωστες.

Ερευνητές από το Πανεπιστήμιο Μπέρκλεϋ της Καλιφόρνιας, επιχείρησαν να «ανακατασκευάσουν» το πρώτο μέρος του «The Wall» των Pink Floyd με τα ερεθίσματα που καταγράφηκαν στους εγκεφάλους 29 ασθενών από το άκουσμα του τραγουδιού. Και το πέτυχαν.

Η σχετική μελέτη δημοσιεύθηκε πρόσφατα στο Plos Biology. Διαπίστωσαν ότι μια συγκεκριμένη περιοχή στη άνω δεξιά κροταφική έλικα του εγκεφάλου είναι τελικά το μοναδικό σημείο που ευθύνεται για την αντίληψη του ρυθμού.

Όπως αναφέρουν στη μελέτη τους οι ερευνητές, «αναλύσαμε ένα μοναδικό σύνολο δεδομένων ενδοκρανιακής ηλεκτροεγκεφαλογραφίας (iEEG) 29 ασθενών που άκουσαν ένα τραγούδι των Pink Floyd και χρησιμοποιήσαμε μια μέθοδο ανακατασκευής ερεθίσματος που είχε προηγουμένως χρησιμοποιηθεί στον τομέα της ομιλίας.

Ανακατασκευάσαμε με επιτυχία ένα αναγνωρίσιμο τραγούδι από άμεσες ηχογραφήσεις που καταγράφηκαν στους νευρώνες και ποσοτικοποιήσαμε την επίδραση διαφορετικών παραγόντων για την ακριβή αποκωδικοποίηση των σημάτων.

Συνδυάζοντας τις αναλύσεις κωδικοποίησης και αποκωδικοποίησης, βρήκαμε ότι για την αντίληψη της μουσικής κυριαρχεί στο δεξί ημισφαίριο και πρωταρχικό ρόλο παίζει η ανώτερη κροταφική έλικα. Καταδείξαμε μια νέα μικρότερη περιοχή στην ανώτερη δεξιά κροταφική έλικα η οποία συντονίζεται στον μουσικό ρυθμό και διαπιστώσαμε ότι υπάρχει μια οργάνωση πριν και μετά την άνω κροταφική έλικα η οποία επιδεικνύει μια συνεχή αλλά και μεμονωμένη ανταπόκριση στα στοιχεία της μουσικής».

Το «Another Brick In The Wall, Part 1» του 1979 των Pink Floyd, είναι ο πρώτος ήχος που ανακατασκευάζεται ποτέ από την εγκεφαλική δραστηριότητα ενός ατόμου καθώς ακούει ένα τραγούδι.

Πρόκειται για ένα επίτευγμα που σηματοδοτεί ένα σημαντικό ορόσημο στην ικανότητα των επιστημόνων να αποκωδικοποιούν και να κατανοούν πώς ο εγκέφαλος αντιλαμβάνεται τη μουσική. Θα μπορούσε τελικά να κάνει τις υποστηρικτικές τεχνολογίες φωνής και τα προσθετικά ομιλίας καλύτερα, προσομοιάζοντας περισσότερο στον τρόπο με τον οποίο μιλούν οι άνθρωποι εκφράζοντας ταυτόχρονα το συναίσθημα και το χρώμα της ανθρώπινης φωνής.

«Προς το παρόν, είναι δύσκολο για τους αυτόματους τηλεφωνητές να βρουν την πιο πιθανή προσωδία του ομιλητή. Δεν μπορείτε στην πραγματικότητα να αναπαράγετε όλους τους τόνους φωνής που θα μπορούσατε να παράγετε φυσικά», σημείωσε ο πρώτος συγγραφέας της μελέτης, νευροεπιστήμονας Ludovic Bellier από το Πανεπιστήμιο Μπέρκλεϋ, ο οποίος αποκωδικοποίησε τα δεδομένα.

Στη μελέτη υπό την εποπτεία του καθηγητή Robert Knight του Μπέρκλεϋ, η επιστημονική ομάδα περιέγραψε πώς αποκωδικοποίησε την εγκεφαλική δραστηριότητα 29 ασθενών που άκουσαν παθητικά το «Another Brick In The Wall», ενώ υποβάλλονταν σε νευροχειρουργική επέμβαση για επιληψία, όντας σε εγρήγορση (χωρίς νάρκωση). Αυτά τα δεδομένα είχαν συλλεχθεί μεταξύ των ετών 2008 – 2015 από άλλη ερευνητική ομάδα για να διαπιστώσει πώς ο εγκέφαλος αντιλαμβάνεται τη μουσική, όμως η ομάδα εκείνη, δεν είχε προσπαθήσει να ανακατασκευάσει το τραγούδι.

«Είχαν προσπαθήσει να συσχετίσουν ορισμένες πτυχές του τραγουδιού – την ακουστική κ.λπ. – με τη νευρική δραστηριότητα, αλλά δεν χρησιμοποιούσαν μοντέλα κωδικοποίησης και αποκωδικοποίησης», εξήγησε ο Bellier.

Ο ίδιος διερωτήθηκε: «Γιατί το Another Brick In The Wall»; Και απάντησε: «Επειδή αγαπούν τους Pink Floyd. Πίστευαν ότι θα ήταν ωραίο να έχουν ασθενείς να ακούνε Pink Floyd.

Υπήρχαν βέβαια και άλλοι λόγοι. Το πρώτο μισό του τραγουδιού είναι φτιαγμένο από φωνητικά και όργανα, ενώ το δεύτερο μισό είναι μόνο μουσική.

Επιπλέον, είναι ευχάριστο και οικείο. Το πρώτο από τα τρία μέρη της ροκ όπερας «The Wall» των Pink Floyd είναι περισσότερο το εισαγωγικό τραγούδι, οπότε οι θαυμαστές των Pink Floyd θα το ξέρουν, αλλά και οι μη θαυμαστές θα σκεφτούν ότι «κάπου το ξέρω αυτό. Και επιπλέον, δεν είναι σκληρό μέταλλο – δεν είναι σαρωτικό», κατέληξε ο Bellier.

Οι ερευνητές που συνέλεξαν τα δεδομένα δεν ρώτησαν τους ασθενείς αν γνώριζαν το τραγούδι, ούτε αν ήταν οι ίδιοι μουσικοί – παράγοντες που θα μπορούσαν, θεωρητικά, να επηρεάσουν τον τρόπο με τον οποίο ο εγκέφαλός τους αντιλαμβανόταν τη μουσική, σημείωσε ο Bellier και πρόσθεσε «Θα ήταν καλό να γνωρίζουμε αν ήταν, γιατί ορισμένες φορές, αν είστε πολύ εκπαιδευμένοι σε κάτι, ο εγκέφαλός σας χρησιμοποιεί λιγότερη ενέργεια – έχει υποστεί βελτιώσεις, οπότε είναι πιο δύσκολο να αποκωδικοποιηθεί γιατί είναι πολύ πιο εξειδικευμένο».

Όμως, αυτές οι λεπτομέρειες δεν ήταν απαραίτητες για την ομάδα του Μπέρκλεϋ για να δει αν μπορούσαν να ανασυνθέσουν το τραγούδι από τα νευρικά σήματα των ασθενών. Πήραν τις ηχογραφήσεις από 347 διαφορετικά ηλεκτρόδια που είχαν τοποθετηθεί στον εγκέφαλο των ασθενών και χρησιμοποίησαν τεχνητή νοημοσύνη για να καταλάβουν ποια στοιχεία του τραγουδιού αντιπροσώπευαν τα σήματα. Στη συνέχεια τα ανασκεύασαν σε ένα μέρος του τραγουδιού.

Μερικά πράγματα ξεχώρισαν: Τα σήματα από τα ηλεκτρόδια που έπιαναν την έναρξη του ήχου ή τον ρυθμό ήταν αναπόσπαστα για να μπορέσουμε να κατασκευάσουμε το τραγούδι, υποδηλώνοντας ότι αυτά τα στοιχεία ήταν εξίσου ζωτικά για την αντίληψη της μουσικής. Και οι ερευνητές ανακάλυψαν ότι μια συγκεκριμένη περιοχή στη δεξιά άνω κροταφική έλικα ήταν μοναδικά υπεύθυνη για την αντίληψη του ρυθμού.

Η ανάπτυξη του ευρήματος είναι ένας από τους παράγοντες που θα μπορούσαν τελικά να κάνουν τα προσθετικά φωνής και τις διεπαφές εγκεφάλου-υπολογιστή να ακούγονται πιο ανθρώπινα.

Πέρα από τους αυτόματους τηλεφωνητές, ο Bellier πιστεύει ότι τα ευρήματα θα μπορούσαν επίσης να χρησιμοποιηθούν για την κατασκευή καλύτερων συσκευών για άτομα με προβλήματα ακοής που δεν μπορούν εύκολα να διορθωθούν με ακουστικά βαρηκοΐας. Η εφαρμογή θα μπορούσε να βασιστεί στην εξωτερική διέγερση του μικροφλοιού – τεχνολογία που δεν υπάρχει ακόμα, αν υπάρχουν ερευνητικές εργασίες ήδη. Όταν υπάρξει τελικά, αυτοί οι ασθενείς να είναι σε θέση να αντιλαμβάνονται ένα ευρύτερο φάσμα ήχων.

«Αν καταλάβουμε ακριβώς σε ποιες περιοχές του εγκεφάλου εστιάζονται τα δεδομένα μουσικής και ομιλίας και πώς αναπαριστώνται, τότε θα μπορούμε να διεγείρουμε εξαιρετικά πολύπλοκα μοτίβα για να αποκαταστήσουμε προβλήματα στις περιοχές αυτές», είπε ο Bellier και κατέληξε: «Αυτό θα μπορούσε να είναι κάποιο είδος διεπαφής εγκεφάλου-υπολογιστή—όχι για να διαβάζεις από τον εγκέφαλο, αλλά για να γράφεις σε αυτόν».