Zwei Projekte RESPONSE und ADSPEED wurden bzw. werden im Rahmen des Forschungsprogramms „Multilaterale Zusammenarbeit in Computational Neuroscience“ gefördert, das gemeinsam durch das BMBF und der National Science Foundation NSF (USA) finanziert wird.
In einer mehrjährigen Zusammenarbeit zwischen dem Cognitive Systems Lab (CSL) an der Uni Bremen, dem Department of Neurosurgery an der Maastricht Universität sowie dem ASPEN Lab an der Virginia Commonwealth Universität wurde eine Neurosprachprothese entwickelt, die sprachbezogene neuronale Prozesse im Gehirn direkt in hörbare Sprache umsetzt. Dazu stellen sich freiwillige Probanden vor, zu sprechen – die dabei entstehenden Gehirnstromsignale werden direkt in hörbare Ausgabe überführt – und zwar in Echtzeit ohne wahrnehmbare Verzögerung. „Die Probanden hören sich reden, obwohl sie sich das Sprechen nur vorstellen.“ sagt Prof. Tanja Schultz, die Leiterin des CSL.
Diese bahnbrechende Neuerung wurde nun in dem wissenschaftlichen Journal "Nature Communications Biology" (https://www.nature.com/articles/s42003-021-02578-0) hochrangig veröffentlicht. Sie ist das Ergebnis einer langjährigen Kooperation, die im Rahmen des Forschungsprogramms „Multilaterale Zusammenarbeit in Computational Neuroscience“ gemeinsam vom BMBF und vom der NSF gefördert wird. Diese Kooperation mit Prof. Dean Krusienski wurde gemeinsam mit dem ehemaligen Mitarbeiter des CSL, Christian Herff, im Rahmen des erfolgreichen Projektes RESPONSE aufgebaut und wird aktuell mit dem Mitarbeiter des CSL, Miguel Angrick, im Projekt ADSPEED fortgesetzt. Dr. Christian Herff ist mittlerweile Assistenzprofessor an der Universität Maastricht.
Die innovative Neurosprachprothese basiert auf einem Closed-Loop-System, das Technologien aus der modernen Sprachsynthese mit Brain-Computer-Interfaces verbindet. Dieses Closed-Loop System wurde von Miguel Angrick am CSL entwickelt. Es erhält als Eingabe die neuronalen Signale der Nutzer:innen, die sich vorstellen zu sprechen, transformiert diese mittels Maschineller Lernverfahren praktisch zeitgleich in Sprache und gibt diese hörbar als Feedback an die Nutzer:innen aus – dadurch schließt sich für die Nutzer:innen der Kreis von Vorstellen und Hören gedachter Sprache.
Die in "Nature Communications Biology" veröffentlichte Arbeit basiert auf einer Studie mit einer freiwilligen Epilepsiepatientin, der zu medizinischen Untersuchungen Tiefenelektroden implantiert wurden und die sich zur klinische Überwachung im Krankenhaus aufhielt. Im ersten Schritt las die Patientin Texte vor, aus denen das Closed-Loop System mittels Maschineller Lernverfahren die Korrespondenz zwischen Sprache und neuronaler Aktivität lernte. Im zweiten Schritt wurde dieser Lernvorgang mit geflüsterter und mit vorgestellter Sprache wiederholt. Dabei erzeugte das Closed-Loop System synthetisierte Sprache. Obwohl das System die Korrespondenzen ausschließlich auf hörbarer Sprache gelernt hatte, wird auch bei geflüsterter und bei vorgestellter Sprache eine hörbare Ausgabe erzeugt. Dies lässt den Schluss zu, dass die zugrundeliegenden Sprachprozesse im Gehirn für hörbar produzierte Sprache vergleichbar sind denen für geflüsterter und vorgestellter Sprache.
Dieses Closed-Loop System ist damit der erste Schritt zu Neurosprachprothesen, die für Menschen hilfreich seien könnten, die aufgrund neuronaler Erkrankungen verstummt sind und ohne fremde Hilfe nicht mit der Außenwelt kommuniziert können.
Cognitive Systems Lab, Fachbereich 3, Universität Bremen
Autoren: Miguel Angrick M.Sc., Prof. Dr.-Ing. Tanja Schultz (Direktorin CSL)
