Universität zu Köln

Goldkuhle, Marius ORCID: 0000-0001-8747-6770 (2024). On time-to-event outcomes in evidence syntheses of randomized controlled trials: methods, challenges and guidance. PhD thesis, Universität zu Köln.

PDF Goldkuhle_IPHS_Dissertation_META-TTE.pdf Download (19MB)

Abstract

Time-to-event analyses are methodologically challenging, subject to distinct assumptions and their associated effect estimators, in particular the hazard ratio (HR), are not always straightforward to interpret. Previous studies suggest considerable limitations in the reporting of time-to-event analyses in study publications. Authors of evidence syntheses therefore face certain challenges when they include time-to-event analyses from randomized trials (RCTs) in their meta-analyses. The aim of the projects composing this dissertation was to characterize these challenges for the first time by means of three meta-epidemiological studies and to develop targeted methodological guidance to support authors of evidence syntheses in dealing with them. A meta-epidemiological study of 217 meta-analyses in 100 systematic reviews revealed significant differences in the characteristics, methods and reporting of time-to-event outcomes between the assessed reviews. Major limitations were found, for example, in the reporting of outcome definitions as well as general and time-to-event specific review methods. Review authors rarely considered characteristics of their included RCTs that may affect the reliability of time-to-event analyses, for example, informative censoring and non-proportional hazards. A second meta-epidemiological study systematically assessed the characteristics, methods and reporting of 315 time-to-event analyses in 235 RCTs included in meta-analyses of time- to-event outcomes. It demonstrated considerable variability in the methodology of the RCTs, for example, in the available types of time-to-event data, such as HRs, plots and P-values. Major limitations were evident, for instance, in the reporting of outcome definitions, censoring and follow-up data. In the RCT publications, trial characteristics affecting the reliability of time- to-event analyses were rarely considered and discussed. A third meta-epidemiological study examined the calculation of absolute effects (e.g., natural frequencies, number-needed-to-treat) to present the results of meta-analyses of time-to-event outcomes from a total of 96 Cochrane reviews. The study revealed that the corresponding estimates were often mislabeled and frequently calculated in a way that the direction of the effect of the underlying pooled HR was reversed. To address the identified problems, two systematic guidelines were developed according to the standards of the Grading of Recommendations Assessment, Development and Evaluation (GRADE) Working Group. One of these guidelines illustrates how to deal with informative censoring in evidence syntheses, presents methods for determining a corresponding risk of bias in trial publications and explains how judgements for individual trials can be translated to a body of evidence. The second GRADE guideline presents alternatives for calculating absolute effects for time-to-event outcomes, discusses the selection of appropriate variables and possible limitations of each calculation approach. Based on three meta-epidemiological studies, this dissertation revealed significant problems with time-to-event analyses in meta-analyses of current evidence syntheses, in the publications of their included RCTs and in the communication of their results. Targeted guidance should now counteract some of the identified shortcomings in order to improve the conduct and reporting of meta-analyses of time-to-event outcomes in the future and thus ultimately the decisions based on them.

Item Type:	Thesis (PhD thesis)
Translated abstract:	Abstract Language Time-to-event Analysen, oder Ereigniszeitanalysen, sind methodologisch anspruchsvoll, unterliegen spezifischen Grundannahmen und ihre Effektschätzer, insbesondere das Hazard Radio (HR), sind nicht immer einfach zu interpretieren. Frühere Untersuchungen wiesen auf deutliche Einschränkungen bei der Berichterstattung zu Ereigniszeitanalysen in Studienpublikationen hin. Autoren von Evidenzsynthesen stehen also vor besonderen Herausforderungen, wenn sie Ereigniszeitendpunkte aus randomisierten Studien (RCTs) in Meta-Analysen einschließen. Ziel dieses Promotionsprojekts war es, diese Herausforderungen anhand von drei meta-epidemiologischen Studien erstmalig zu charakterisieren und gezielte Handlungsanleitungen zu entwickeln, um den Umgang mit ihnen zu erleichtern. Eine meta-epidemiologische Studie demonstrierte deutliche Unterschiede in den Eigenschaften, Methoden und der Berichterstattung von 217 Meta-Analysen von Ereigniszeitendpunkten in den insgesamt 100 eingeschlossenen systematischen Reviews. Große Einschränkungen zeigten sich bei der Berichterstattung zu den untersuchten Endpunkten sowie zu allgemeiner und Ereigniszeitspezifischer Reviewmethodik. Besonders selten berücksichtigten die Reviewautoren jene RCT-Merkmale, welche Einfluss auf die Zuverlässigkeit von Ereigniszeitanalysen nehmen können, etwa die informative Zensierung und nicht-proportionale Hazards. Eine zweite meta-epidemiologische Studie untersuchte systematisch die Eigenschaften, Methoden und Berichterstattung von 315 Ereigniszeitanalysen in 235 RCTs, die in Meta-Analysen von Ereigniszeitendpunkten eingeschlossen gewesen sind. Diese Arbeit demonstrierte erhebliche Variabilität in der Methodik der RCTs, zum Beispiel bei den verfügbaren Ereigniszeitdaten, wie HRs, Plots und P-Werten. Besonders große Einschränkungen wurden hier zum Beispiel bei der Berichterstattung zu Endpunkten, Zensierung und dem Follow-Up deutlich. Auch in den RCT-Publikationen selbst wurden Studieneigenschaften mit Einfluss auf die Zuverlässigkeit der Ereigniszeitanalysen nur selten berücksichtigt. Schließlich untersuchte eine dritte meta-epidemiologische Studie die Berechnung absoluter Effektmaße (z.B. natürliche Häufigkeiten oder die Number-needed-to-treat) von Meta-Analysen zu Ereigniszeitendpunkten in 96 Cochrane Reviews. Sie zeigte, dass diese Schätzer häufig falsch bezeichnet und teilweise so berechnet wurden, dass sich die Effektrichtung des zugrundeliegenden, gepoolten HRs umkehrte. Um den identifizierten Problemen entgegenzuwirken, wurden zwei systematische Leitlinien nach den Standards der Grading of Recommendations Assessment, Development and Evaluation (GRADE) Working Group entwickelt. Eine dieser Leitlinien befasst sich mit dem Umgang mit informativer Zensierung in Evidenzsynthesen, stellt Methoden zur Erkennung eines entsprechen Verzerrungsrisikos in Studienpublikationen vor und erklärt, wie die Beurteilungen für einzeln Studien in einen Evidenzkörper übersetzt werden können. Die zweite GRADE Leitlinie erörtert Alternativen zur Berechnung absoluter Effekte für Time-to-event Endpunkte und diskutiert die Auswahl geeigneter Variablen sowie mögliche Einschränkungen der einzelnen Berechnungsansätze. Die Arbeiten dieser Dissertation zeigen erhebliche Probleme in Meta-Analysen von Ereigniszeitendpunkten, den Publikationen ihrer eingeschlossenen RCTs und der Kommunikation ihrer Ergebnisse. Gezielte Leitlinien sollen nun einigen der festgestellten Mängel entgegenwirken, um so die Durchführung und die Berichterstattung von Evidenzsynthesen zu Ereigniszeitendpunkten und schließlich auch die Entscheidungen, die auf ihnen basieren, zu verbessern German
Creators:	Creators Email ORCID ORCID Put Code Goldkuhle, Marius marius.goldkuhle@uk-koeln.de orcid.org/0000-0001-8747-6770 UNSPECIFIED
URN:	urn:nbn:de:hbz:38-746517
Date:	2024
Place of Publication:	Köln
Language:	English
Faculty:	Faculty of Medicine
Divisions:	Unspecified
Subjects:	General statistics Life sciences Medical sciences Medicine
Uncontrolled Keywords:	Keywords Language Quantitative analysis UNSPECIFIED Meta-analysis UNSPECIFIED Time-to-event outcomes UNSPECIFIED Survival analysis UNSPECIFIED Systematic review UNSPECIFIED
Date of oral exam:	26 September 2024
Referee:	Name Academic Title Simon, Thorsten Prof. Dr. Tresch, Achim Prof. Dr. Hellmich, Martin Prof. Dr.
Refereed:	Yes
URI:	http://kups.ub.uni-koeln.de/id/eprint/74651