Sprachkommunikation aus neuronalen Daten
Das Cognitive Systems Lab an der Universität Bremen forscht an Gehirn-Computer Schnittstellen (BCI), die Sprachprozesse im Gehirn in hörbare Sprache überführen oder in eine für Menschen lesbare textuelle Form transformieren. Neuronale Erkrankungen können zur Folge haben, dass betroffene Personen verstummen und ohne fremde Hilfe nicht mehr mit der Außenwelt kommunizieren können. Sprachprothesen, die neuronale Signale direkt in Sprache oder Text umwandeln, bieten großes Potential für alternative Kommunikationswege. Seit mehreren Jahren forscht und entwickelt das CSL in Zusammenarbeit mit amerikanischen Kooperationspartnern in diesem Bereich und hat bereits mit mehreren neuartigen Verfahren zum Stand der Forschung beigetragen.
Methode
Die vom CSL entwickelte Methode verwendet als Eingabesignale Gehirnaktivitäten, die während des Sprechens abgeleitet werden. Denn der menschliche Sprechvorgang wird durch Sprachprozesse im Gehirn initiiert und durchgehend begleitet. Genau diese Prozesse können durch elektrische Potentiale, welche durch die Kommunikation einer Vielzahl von Neuronen entstehen, von Elektroden aufgezeichnet werden. Eine Analyse dieser Aktivitäten durch geeignete Mustererkennungsverfahren erlaubt es, von den aufgezeichneten elektrischen Potentialen Rückschlüsse auf die gesprochene Sprache zu treffen. Die erkannte Sprache kann anschließend als Text ausgegeben oder direkt akustisch synthetisiert werden. Die neuronalen Eingabesignale in Form elektrischer Potentiale werden von den amerikanischen Kooperationspartnern beigesteuert, die sich auf eine invasive Technologie stützen, bei der Patienten aufgrund medizinischer Notwendigkeiten in einem operativen Eingriff Elektroden auf dem Kortex platziert oder über Tiefenelektroden in das Gehirn eingebracht werden.
Durch die direkte Interpretation neuronaler Signale in hörbare Sprache hoffen die Forscher*innen zukünftig neuronale Sprachprothesen zu entwickeln, die es Menschen ermöglicht, Kraft ihrer Gedanken zu kommunizieren.
Wissenschaftlicher Beitrag
Wissenschaftliche Forschungsergebnisse des CSL beziehen sich nicht nur auf die Rekonstruktion von Sprache aus vorher aufgezeichneten Datensätzen, sondern auch auf Live-Synthese mittels eines echtzeitfähigen Decoders, der die Gehirnstromdaten direkt in hörbares Audio umwandelt und als akustisches Feedback über einen Lautsprecher wiedergibt. Zur Lösung dieser Herausforderungen wurden Algorithmen entwickelt und evaluiert, welche Sprache mit maximaler Audioqualität bei gleichzeitig minimaler Verzögerung rekonstruieren. Dies wurde durch speziell entwickelte Echtzeit-Decoding Verfahren erreicht, die das Feedback an die Nutzer*innen entweder in Form von hörbarer Sprache zur direkten zwischenmenschlichen Kommunikation liefern oder wahlweise als Text repräsentieren, der als Kommando durch die Maschine interpretiert werden kann.
Kooperationspartner
In unserem Forschungsprojekt arbeiten wir eng mit dem ASPEN Lab an der Virginia Commonwealth Universität zusammen, das von Prof. Dean Krusienski geleitet wird.
Kontakt
Cognitive Systems Lab, Universität Bremen
Tel. +49 (0) 421 218 64270
tanja.schultzprotect me ?!uni-bremenprotect me ?!.de
Miguel Angrick, M. Sc.
Cognitive Systems Lab, Universität Bremen
Tel. +49 (0) 421 218 64265
miguel.angrickprotect me ?!uni-bremenprotect me ?!.de
Relevante Publikationen
Im Folgenden finden Sie eine nach Publikationsdatum sortierte Liste unserer Publikationen zur Sprachkommunikation aus neuronalen Daten. Zum Einlesen in die Thematik eignen sich besonders der Artikel Automatic Speech Recognition from Neural Signals: A Focused Review (Christian Herff and Tanja Schultz, In Frontiers in Neuroscience, volume 10, 2016) und Biosignal-based Spoken Communication: A Survey (Tanja Schultz et al., In IEEE/ACM Transactions on Audio, Speech and Language Processing, volume 25, 2017)