ADSPEED

Gesprochene Sprache ist die natürlichste Art der zwischenmenschlichen Kommunikation. Verschiedene neurologische Krankheiten, wie zum Beispiel die Amyotrophe Lateralsklerose (ALS), können sich jedoch negativ auf die Sprachproduktion auswirken und Betroffene stark beeinträchtigen oder gänzlich verstummen lassen. Verschiedene Forschungsarbeiten haben in den letzten Jahren gezeigt, dass Brain-Computer Interfaces - Benutzerschnittstellen, welche die neuronalen Aktivitäten des Benutzers zur Mensch-Maschine-Interaktion nutzen, großes Potential zur Entwicklung von Sprachprothesen bieten. Dazu werden Sprachprozesse im Gehirn dekodiert und die gesprochenen Wörter rekonstruiert, um sie anschließend über einen Lautsprecher wiederzugeben. Um BCIs für derartige Sprachprothesen zu verwenden, müssen mehrere grundlegende Forschungsfragen und Herausforderungen gelöst werden.

Im  „ADaptive Low-Latency SPEEch Decoding and synthesis using intracranial signals“ (ADSPEED) Projekt gehen wir drei dieser Herausforderungen an, um die Technologie, die bislang für Personen mit uneingeschränkter Sprachproduktion entwickelt wurde, für die Zielgruppe (z.B. ALS Patienten) vorzubereiten. Das Projekt ADSPEED beschäftigt sich damit, aus der bloßen Vorstellung eines Sprechvorgangs automatisch per Computer natürliche Sprache zu synthetisieren. Dazu wird sich das ADSPEED Forschungsteam mit dem Dekodieren von gedachter Sprache in Echtzeit beschäftigen, um Benutzer und System über ein kontinuierliches Neurofeedback eine Co-Adaption zu ermöglichen. Hiermit werden grundlegende Fragen für ein natürliches und praktisches Kommunikationsgerät erforscht, das in Echtzeit aus Gedanken hörbare Sprache erzeugt.

Dabei stellt ADSPEED eine deutsch-US amerikanische Zusammenarbeit im Bereich der Computational Neuroscience dar und verfolgt konkret folgende vier Ziele:

1. Das Training von Syntheseverfahren auch dann, wenn keine zeitlich angeglichenen Daten zwischen neuronalen Aktivitäten und Sprache verfügbar sind.
2. Die Untersuchung von Online-Syntheseverfahren auf Basis vorangegangener Arbeiten, um gedachte Sprache zu dekodieren und die Adaption des Benutzers über ein direktes akustisches Feedback zu ermöglichen.
3. Die Entwicklung von Verfahren für die Koadaption zwischen Benutzer und System.
4. Die Machbarkeitsstudie einer Neuroprothese basierend auf gedachter Sprache über ein Koadaptives Online-Synthesesystem ohne zeitlich angeglichene Daten fürs Training.

Das ADSPEED Projekt wird vom BMBF (Projektträger DLR) im Rahmen des gemeinsamen Forschungsprogramms „Multilaterale Zusammenarbeit in Computational Neuroscience“ vom BMBF und NSF (USA) unter dem Förderkennzeichen 01GQ2003 gefördert (2021-2023).

In unserem Forschungsprojekt arbeiten wir eng zusammen mit dem ASPEN Lab unter der Leitung von Prof. Dean Krusienski an der Virginia Commonwealth Universität. Näheres hierzu finden Sie auch auf der Webseite unseres Kooperationspartners unter sites.google.com/vcu.edu/aspenlab.

Ansprechpartner: M. Sc. Miguel Angrick, Prof. Dr.-Ing. Tanja Schultz