Universität zu Köln

Layer, Natalie ORCID: 0000-0001-5915-4723 (2023). Audiovisual speech perception in cochlear implant patients. PhD thesis, Universität zu Köln.

PDF Dissertation_Natalie_Layer_angepasst.pdf - Accepted Version Bereitstellung unter der CC-Lizenz: Creative Commons Attribution Non-commercial No Derivatives. Download (17MB)

Abstract

Hearing with a cochlear implant (CI) is very different compared to a normal-hearing (NH) experience, as the CI can only provide limited auditory input. Nevertheless, the central auditory system is capable of learning how to interpret such limited auditory input such that it can extract meaningful information within a few months after implant switch-on. The capacity of the auditory cortex to adapt to new auditory stimuli is an example of intra-modal plasticity — changes within a sensory cortical region as a result of altered statistics of the respective sensory input. However, hearing deprivation before implantation and restoration of hearing capacities after implantation can also induce cross-modal plasticity — changes within a sensory cortical region as a result of altered statistics of a different sensory input. Thereby, a preserved cortical region can, for example, support a deprived cortical region, as in the case of CI users which have been shown to exhibit cross-modal visual-cortex activation for purely auditory stimuli. Before implantation, during the period of hearing deprivation, CI users typically rely on additional visual cues like lip-movements for understanding speech. Therefore, it has been suggested that CI users show a pronounced binding of the auditory and visual systems, which may allow them to integrate auditory and visual speech information more efficiently. The projects included in this thesis investigate auditory, and particularly audiovisual speech processing in CI users. Four event-related potential (ERP) studies approach the matter from different perspectives, each with a distinct focus. The first project investigates how audiovisually presented syllables are processed by CI users with bilateral hearing loss compared to NH controls. Previous ERP studies employing non-linguistic stimuli and studies using different neuroimaging techniques found distinct audiovisual interactions in CI users. However, the precise timecourse of cross-modal visual-cortex recruitment and enhanced audiovisual interaction for speech related stimuli is unknown. With our ERP study we fill this gap, and we present differences in the timecourse of audiovisual interactions as well as in cortical source configurations between CI users and NH controls. The second study focuses on auditory processing in single-sided deaf (SSD) CI users. SSD CI patients experience a maximally asymmetric hearing condition, as they have a CI on one ear and a contralateral NH ear. Despite the intact ear, several behavioural studies have demonstrated a variety of beneficial effects of restoring binaural hearing, but there are only few ERP studies which investigate auditory processing in SSD CI users. Our study investigates whether the side of implantation affects auditory processing and whether auditory processing via the NH ear of SSD CI users works similarly as in NH controls. Given the distinct hearing conditions of SSD CI users, the question arises whether there are any quantifiable differences between CI user with unilateral hearing loss and bilateral hearing loss. In general, ERP studies on SSD CI users are rather scarce, and there is no study on audiovisual processing in particular. Furthermore, there are no reports on lip-reading abilities of SSD CI users. To this end, in the third project we extend the first study by including SSD CI users as a third experimental group. The study discusses both differences and similarities between CI users with bilateral hearing loss and CI users with unilateral hearing loss as well as NH controls and provides — for the first time — insights into audiovisual interactions in SSD CI users. The fourth project investigates the influence of background noise on audiovisual interactions in CI users and whether a noise-reduction algorithm can modulate these interactions. It is known that in environments with competing background noise listeners generally rely more strongly on visual cues for understanding speech and that such situations are particularly difficult for CI users. As shown in previous auditory behavioural studies, the recently introduced noise-reduction algorithm "ForwardFocus" can be a useful aid in such cases. However, the questions whether employing the algorithm is beneficial in audiovisual conditions as well and whether using the algorithm has a measurable effect on cortical processing have not been investigated yet. In this ERP study, we address these questions with an auditory and audiovisual syllable discrimination task. Taken together, the projects included in this thesis contribute to a better understanding of auditory and especially audiovisual speech processing in CI users, revealing distinct processing strategies employed to overcome the limited input provided by a CI. The results have clinical implications, as they suggest that clinical hearing assessments, which are currently purely auditory, should be extended to audiovisual assessments. Furthermore, they imply that rehabilitation including audiovisual training methods may be beneficial for all CI user groups for quickly achieving the most effective CI implantation outcome.

Item Type:	Thesis (PhD thesis)
Translated title:	Title Language Audio-visuelle Sprachwahrnehmung bei Patienten mit Cochlea-Implantat German
Translated abstract:	Abstract Language Das Hören mit einem Cochlea-Implantat (CI) unterscheidet sich stark von dem Höreindruck eines Normalhörenden (NH), da das CI nur einen begrenzten auditiven Input liefern kann. Dennoch kann das zentrale auditorische System lernen, diesen begrenzten Input als sinnvolle Information zu interpretieren. Dies gelingt bereits innerhalb weniger Monate nach dem Einsetzen des Implantats. Die Fähigkeit des auditorischen Kortex, sich an neue auditorische Reize anzupassen, ist ein Beispiel für intra-modale Plastizität — Veränderungen innerhalb einer sensorischen kortikalen Region als Folge einer veränderten Inputstatistik des entsprechenden Sinnes. Das Fehlen von auditorischen Reizen vor der Implantation und die Wiederherstellung des Hörvermögens nach der Implantation können jedoch auch zu cross-modaler Plastizität führen — Veränderungen innerhalb einer sensorischen kortikalen Region als Folge veränderter Inputstatistik eines anderen Sinnes. Zum Beispiel kann eine sensorisch deprivierte kortikale Region von einer anderen Region in ihrer Funktion unterstützt werden, wie im Fall von CI-Trägern, die eine cross-modale Aktivierung des visuellen Kortex für rein auditive Reize aufweisen. Vor der Implantation, wenn das Hören stark beeinträchtigt ist, sind CI-Träger in der Regel auf zusätzliche visuelle Inputs, wie Lippenbewegungen, angewiesen, um Sprache zu verstehen. Daher wird vermutet, dass CI-Träger eine ausgeprägte Interaktion zwischen dem auditiven und dem visuellen System aufweisen, die es ihnen ermöglicht, auditive und visuelle Sprachinformationen effizienter zu integrieren. Die in dieser Arbeit präsentierten Projekte untersuchen die auditive und insbesondere die audiovisuelle Sprachverarbeitung bei CI-Trägern. Vier Studien zu ereigniskorrelierten Potenzialen (EKPs) betrachten das Thema aus unterschiedlichen Perspektiven, jede mit einem anderen Schwerpunkt. Im ersten Projekt wird untersucht, wie audiovisuell präsentierte Silben von CITrägern mit beidseitigem Hörverlust im Vergleich zur NH-Gruppe verarbeitet werden. Frühere EKP-Studien mit nicht-sprachlichen Stimuli und Studien, die andere Messverfahren angewendet haben, zeigen deutliche audiovisuelle Interaktionen bei CI-Trägern. Der genaue zeitliche Verlauf der cross-modalen Rekrutierung des visuellen Kortex und der verstärkten audiovisuellen Interaktion bei sprachlichen Reizen ist jedoch bisher nicht bekannt. Mit unserer EKP-Studie schließen wir diese Lücke und beschreiben die Unterschiede im zeitlichen Verlauf der audiovisuellen Interaktionen, sowie in den kortikalen Quellkonfigurationen, zwischen CI-Trägern und der NH-Kontrollgruppe. Die zweite Studie befasst sich mit der auditorischen Verarbeitung bei einseitig ertaubten (single-sided deaf; SSD) CI-Trägern. SSD CI-Patienten erleben einen maximal asymmetrischen Höreindruck, da sie ein CI auf einem Ohr und ein kontralaterales NH-Ohr haben. Trotz des intakten Ohres haben mehrere Verhaltensstudien eine Reihe von positiven Auswirkungen der Wiederherstellung des binauralen Hörens gezeigt. Es gibt aber nur wenige EKP-Studien, die die auditorische Verarbeitung bei SSD CI-Trägern analysiert haben. Unsere Studie untersucht, ob die Implantationsseite die Hörverarbeitung beeinflusst und ob die Hörverarbeitung über das NH-Ohr bei SSD CI-Trägern ähnlich funktioniert wie bei Normalhörenden. Angesichts der besonderen Hörsituation von SSD CI-Trägern stellt sich die Frage, ob es quantifizierbare Unterschiede zwischen CI-Trägern mit einseitigem und beidseitigem Hörverlust gibt. Im Allgemeinen gibt es nur wenige EKP-Studien mit SSD CI-Trägern und insbesondere gibt es keine Studie zur audiovisuelle Verarbeitung. Außerdem gibt es keine uns bekannten Studien zur Lippenlesefähigkeit von SSD CI-Trägern. Daher erweitern wir im dritten Projekt unsere erste Studie um SSD CI-Träger als dritte Versuchsgruppe. Die Studie diskutiert sowohl Unterschiede als auch Gemeinsamkeiten zwischen CI-Trägern mit beidseitigem Hörverlust und CI-Trägern mit einseitigem Hörverlust sowie NH-Kontrollen und liefert erstmalig Einblicke in audiovisuelle Interaktionen bei SSD CI-Trägern. Das vierte Projekt untersucht den Einfluss von Störgeräuschen auf audiovisuelle Interaktionen bei CI-Trägern und ob ein Algorithmus zur Störgeräuschreduktion diese Interaktionen modulieren kann. Es ist bekannt, dass sich Menschen in Umgebungen mit zusätzlichen Hintergrundgeräuschen generell stärker auf visuelle Informationen verlassen, um Sprache besser zu verstehen und dass solche Situationen für CI-Träger besonders schwierig sind. Wie in früheren auditiven Verhaltensstudien gezeigt wurde, kann der kürzlich eingeführte Störgeräuschunterdrückungsalgorithmus "ForwardFocus" in solchen Fällen das Sprachverständnis erleichtern. Die Fragen, ob die Anwendung des Algorithmus auch unter audiovisuellen Bedingungen vorteilhaft ist und ob die Anwendung des Algorithmus einen messbaren Effekt auf die kortikale Verarbeitung hat, sind jedoch bisher noch nicht untersucht worden. In der hier präsentierten EKP-Studie beantworten wir diese Fragen mit Hilfe eines auditiven und audiovisuellen Silbenunterscheidungsparadigmas. Insgesamt tragen die Projekte dieser Arbeit zu einem besseren Verständnis der auditiven und insbesondere der audiovisuellen Sprachverarbeitung bei CI-Trägern bei und zeigen unterschiedliche kortikale Verarbeitungsstrategien auf, um den begrenzten Input eines CIs zu kompensieren. Die Ergebnisse sind relevant für den klinischen Alltag, da sie nahelegen, dass klinische Hörmessverfahren, die derzeit rein auditiv sind, durch audiovisuelle Messverfahren erweitert werden sollten. Darüber hinaus deuten sie darauf hin, dass eine Rehabilitation, die audiovisuelle Trainingsmethoden einschließt, für alle CI-Nutzergruppen von Vorteil sein kann, um schnell ein möglichst effektives Ergebnis der CI-Implantation zu erzielen. German
Creators:	Creators Email ORCID ORCID Put Code Layer, Natalie natalie.layer@uk-koeln.de orcid.org/0000-0001-5915-4723 UNSPECIFIED
URN:	urn:nbn:de:hbz:38-652282
Date:	2023
Language:	English
Faculty:	Faculty of Medicine
Divisions:	Faculty of Medicine > Hals-Nasen-Ohrenheilkunde > Klinik und Poliklinik für Hals-, Nasen- und Ohrenheilkunde
Subjects:	Language, Linguistics Medical sciences Medicine Natural sciences and mathematics
Uncontrolled Keywords:	Keywords Language audiovisual interaction English cochlear implant English speech perception English event-related potentials English nose reduction English cortical plasticity English multisensory integration English audiovisual speech perception English
Date of oral exam:	9 March 2023
Referee:	Name Academic Title von Kleist-Retzow, Jürgen-Christoph PD Dr. Daun, Silvia Prof. Dr.
Refereed:	Yes
URI:	http://kups.ub.uni-koeln.de/id/eprint/65228