Universität zu Köln

Kaya, Kenan ORCID: 0009-0008-7625-3457 (2024). GPT-4 Analyse von MRT-Berichten bei Verdacht auf Myokarditis: Eine multizentrische Studie. PhD thesis, Universität zu Köln.

PDF (Dissertation) Dissertation_Kenan_Kaya_Finale_Version.pdf Bereitstellung unter der CC-Lizenz: Creative Commons Attribution Non-commercial. Download (6MB)

Abstract

Das Ziel dieser Arbeit war es, den Nutzen eines Large Language Models (LLMs) namens Generative Pre-trained Transformer 4 (GPT-4) hinsichtlich der text-basierten Diagnose einer Myokarditis basierend auf dem radiologischen Befundbericht einer Herz-MRT, der Patientenanamnese und Laborwerten zu untersuchen. Hierzu wurden Befundberichte von 396 Patienten von acht deutschen Universitätsklinika verwendet, welche eine Herz-MRT bei Verdacht auf Myokarditis erhielten. Anhand der Anweisung: „Bitte entscheiden Sie auf der Grundlage des radiologischen Berichts, der bereitgestellten Patienteninformationen und der klinischen Parameter, ob eine Myokarditis vorliegt oder nicht. Bitte antworten Sie entweder mit ja oder nein" sollten sowohl GPT-4 als auch drei Radiologen mit jeweils einem (R1), zwei (R2) und vier Jahren (R3) Erfahrung in der kardiovaskulären Bildgebung anhand der gegebenen Daten entscheiden, ob eine Myokarditis vorliegt oder nicht. Die abschließende Beurteilung des Befundes, ob eine Myokarditis vorliegt oder nicht, wurde den Radiologen und GPT-4 nicht vorgelegt. Deren Beurteilung wurde gegenüber der Consensus-Bewertung der vorliegen Daten zweier Fachärzte mit acht und zehn Jahren Erfahrung in der kardiovaskulären Bildgebung, welche als Referenzstandard dienten, verglichen. Sensitivität, Spezifität und Genauigkeit wurden berechnet. GPT-4 erzielte eine Genauigkeit von 83%, eine Sensitivität von 90% und eine Spezifität von 78%, was mit den Ergebnissen des Radiologen mit einem Jahr Erfahrung (R1: 86%, 90%, 84%, p=.14) vergleichbar war, jedoch geringer als bei erfahreneren Ärzten ausfiel (R2: 89%, 86%, 91%, p=.007 und R3: 91%, 85%, 96%, p<.001). Sowohl GPT-4 als auch die Radiologen zeigten eine verbesserte diagnostische Leistung, wenn Berichte die Ergebnisse des T1- und T2-Mappings enthielten, wobei dies bei den Radiologen mit einer und vier Jahren Erfahrung statistisch signifikant war (p=.004 bzw. p=.02). Zusammenfassend lässt sich sagen, dass GPT-4 eine hohe Genauigkeit bei der Diagnose von Myokarditis anhand von MRT-Berichten in einem umfangreichen, multizentrischen Datensatz erreichte und somit als unterstützendes diagnostisches Werkzeug, besonders für weniger erfahrene Ärzte, eingesetzt werden könnte. Weitere Untersuchungen sind erforderlich, um das gesamte Potenzial zu erfassen und die übrigen Aspekte der Einbindung großer Sprachmodelle in die medizinische Entscheidungsfindung genauer zu untersuchen.

Item Type:	Thesis (PhD thesis)
Creators:	Creators Email ORCID ORCID Put Code Kaya, Kenan kenan.kaya@uk-koeln.de orcid.org/0009-0008-7625-3457 UNSPECIFIED
URN:	urn:nbn:de:hbz:38-750332
DOI:	10.1016/j.jocmr.2024.101068
Date:	2024
Publisher:	Elsevier
Place of Publication:	Journal of Cardiovascular Magnetic Resonance
Language:	German
Faculty:	Faculty of Medicine
Divisions:	Faculty of Medicine > Radiologische Diagnostik > Institut und Poliklinik für Radiologische Diagnostik
Subjects:	Medical sciences Medicine
Uncontrolled Keywords:	Keywords Language Large Language Models English Cardiovascular Magnetic Resonance English Myocarditis English
Date of oral exam:	23 December 2024
Referee:	Name Academic Title Pennig, Lenhard Urs PD Dr. med. Hickethier, TIlman PD Dr. med. univ.
Refereed:	Yes
URI:	http://kups.ub.uni-koeln.de/id/eprint/75033