Rapid Reviews in Zeiten von COVID-19 – Erfahrungen im Zuge des Kompetenznetzes Public Health zu COVID-19 und Vorschlag eines standardisierten Vorgehens

Zusammenfassung

Ziel Im Zuge der COVID-19-Pandemie benötigen viele gesundheitsrelevante Fragestellungen rasche Antworten. Im Kompetenznetz Public Health zu COVID-19, das im März 2020 von Vertreter:innen mehrerer wissenschaftlicher Fachgesellschaften gegründet wurde, werden vielfach Rapid Reviews erstellt, um rasch evidenzbasierte, für politische Entscheidungsträger:innen nutzbare Antworten zu generieren. Ziel dieses Beitrags ist es, die praktischen Erfahrungen bei der Durchführung von Rapid Reviews im Rahmen des Kompetenznetzes Public Health zu reflektieren. Auf dieser Grundlage sollen Methoden zur qualitativ hochwertigen und praktikablen Durchführung von Rapid Reviews entwickelt werden, die insbesondere auch zur raschen Evidenzgenerierung auf der Grundlage von Beobachtungsstudien anwendbar sind.

Methodik Unter Nutzung des von Tricco et al. [1] vorgeschlagenen 8-schrittigen Vorgehens werden die aktuellen Herausforderungen beschrieben, die sich im Kompetenznetz Public Health zu COVID-19 bei der Durchführung von Rapid Reviews zu Public Health-bezogenen Fragen der COVID-19-Pandemie ergeben haben. Die 8 Schritte lauten: 1. Formulierung der Fragestellung, 2. Literatursuche, 3. Titel-Abstract- und Volltextsichtung, 4. Datenextraktion, 5. Risk of Bias-Bewertung, 6. Evidenzsynthese, 7. Dissemination, 8. Aktualisierung. Zudem werden Lösungsvorschläge im Expert:innenkonsens der Mitglieder (n=42 zum 28.01.2021) der Querschnitts-AG Rapid Reviews des Kompetenznetzes Public Health zu COVID-19 entwickelt.

Ergebnisse Vorgelegt und zur Diskussion gestellt wird ein standardisiertes Vorgehen, das sich eng an das Vorgehen der Cochrane Rapid Reviews Methods Group anlehnt und den besonderen Anforderungen von ätiologisch orientierten, häufig auch ökologischen Beobachtungsstudien zu COVID-19 Rechnung trägt.

Schlussfolgerungen Das vorgeschlagene Vorgehen bei der Durchführung von Rapid Reviews kann – ggf. über Fragestellungen zu COVID-19 hinaus – eine wichtige Grundlage einer evidenzbasierten Politikberatung bilden. Zur kurzfristigen Realisierung von methodisch hochwertigen Rapid Reviews zu neuen Fragestellungen sollten flexible und kurzfristig aktivierbare Förderkonzepte bereitgestellt werden. Wissenschaftliche Kooperationen bei der Durchführung von Rapid Reviews sollten ausgebaut werden, dabei sollten verstärkt methodisch hochwertige Ansätze wie bspw. prospektive Metaanalysen Anwendung finden.

Abstract

Aims During the COVID-19 pandemic, many health-related questions require rapid answers. In the Competence Network Public Health COVID-19, founded by representatives of several scientific societies in March 2020, rapid reviews are often conducted to generate evidence-based answers that are useful for policy makers. The aim of this paper is to reflect on the practical experience with rapid reviews in the context of the Competence Network Public Health. Methods for high-quality and practicable implementation of rapid reviews were developed, which are particularly helpful for rapid evidence generation based on observational studies.

Methods Using the 8-step approach proposed by Tricco et al. [1], we describe the acute challenges that have arisen in the Public Health Competence Network COVID-19 while conducting rapid reviews on public health-related issues related to the COVID-19-pandemic. The 8 steps are: 1. conceptualization of the research question, 2. literature search, 3. title/abstract and full text screening, 4. data extraction, 5. risk of bias assessment, 6. evidence synthesis, 7. dissemination, 8. update. We develop a methodological approach for conducting rapid reviews by expert consensus of the members (n=42 as of 01/28/2021) of the Rapid Reviews Working Group in the Competence Network Public Health COVID-19.

Results A standardized approach is presented that closely follows the approach of the Cochrane Rapid Reviews Methods Group and takes into account the special requirements of etiological – but often also ecological – observational studies on COVID-19.

Conclusions The proposed approach for conducting rapid reviews can form an important basis for evidence-based policy advice – certainly beyond questions related to COVID-19. Flexible and rapid funding concepts should be made available for the short-term realization of methodologically high-quality rapid reviews on emerging questions. Scientific cooperation in conducting rapid reviews needs to be expanded, and more methodologically high-quality approaches such as prospective meta-analyses should be used.

Schlüsselwörter

Rapid Reviews - Kompetenznetz Public Health COVID-19 - Methoden - Förderkonzepte

Key words

Rapid Reviews - Competence Network Public Health COVID-19 - Methods - Funding concepts

Einleitung

Die COVID-19-Pandemie hat Politik und Gesellschaft tiefgreifende Entscheidungen abverlangt, für die in kürzester Zeit die wissenschaftlichen Grundlagen aufbereitet werden mussten und weiterhin müssen. Bereits im März 2020 wurde auf Initiative von zunächst fünf wissenschaftlichen Fachgesellschaften (DGPH, DGEpi, DGMS, GMDS und DGSMP) das Kompetenznetz Public Health zu COVID-19 gegründet (https://www.public-health-covid19.de/). In kurzer Zeit entwickelte sich dieses Kompetenznetz zu einem Zusammenschluss von über 30 wissenschaftlichen Fachgesellschaften aus dem Bereich Public Health, die ihre methodische, epidemiologische, statistische, sozialwissenschaftliche und (bevölkerungs-)medizinische Fachkenntnis bündeln. Gemeinsam vertritt das Kompetenznetz mehrere Tausend Wissenschaftler:innen aus Deutschland, Österreich und der Schweiz. Ziel ist es, schnell sowie flexibel interdisziplinäre Expertise zu COVID-19 für die aktuelle Diskussion und Entscheidungsfindung zur Verfügung zu stellen. Dafür werden wissenschaftliche Erkenntnisse aufbereitet und in möglichst leicht verständlicher Form verbreitet. Je nach Thema und Zielgruppe werden unterschiedliche Formate wie z.B. Hintergrundpapiere oder Policy Briefs genutzt. Die Informationen richten sich primär an Behörden, Institutionen und politische Entscheidungsträger:innen.

Innerhalb kurzer Zeit wurde seitens des Kompetenznetzes Public Health zu COVID-19 eine hohe Zahl von Hintergrundpapieren und Policy Briefs veröffentlicht. Dabei wurden oft Methoden der systematischen Evidenzsynthese eingesetzt. Bis November 2020 wurden 15 sogenannte „Rapid Reviews“ vom Kompetenznetz erstellt. Dabei handelt es sich um systematische Evidenzsynthesen, die durch Anwendung methodischer „Abkürzungen“ rascher erstellt werden als umfangreiche systematische Reviews. Allerdings ließen sich unterschiedliche methodische Herangehensweisen bezüglich der Durchführung der Literatursuche sowie der Aufbereitung und Darstellung der Ergebnisse feststellen. Eine besondere Schwierigkeit ergab sich daraus, dass für viele Forschungsfragen zu COVID-19 lediglich Beobachtungsstudien mit querschnittlichen oder ökologischen Designs vorlagen. So sind etwa für die Frage, welchen „isolierten“ Einfluss das Alter auf den Verlauf einer COVID-19-Erkrankung hat (https://www.public-health-covid19.de/images/2020/Ergebnisse/2020_04_23_Fact_Sheet_Auswirkungen_auf_ltere_Beschftigte_V3.pdf [2]), naturgemäß keine Interventionsstudien möglich. Dies gilt ebenso für die derzeit im Kompetenznetz untersuchte Frage, welchen Einfluss die Saisonalität (definiert insbesondere durch Temperatur und Luftfeuchtigkeit) auf die COVID-19-Inzidenz hat. Um hier innerhalb des Netzwerkes ein standardisiertes Vorgehen zu ermöglichen, wurde die Querschnitts-AG Rapid Reviews gegründet. Neben dem methodischen Austausch widmet sich diese Arbeitsgruppe insbesondere der Entwicklung eines qualitativ hochwertigen, standardisierten Vorgehens bei der Durchführung von Rapid Reviews. Ein derartiges Verfahren sollte insbesondere auch zur raschen Evidenzgenerierung auf der Grundlage von Beobachtungsstudien anwendbar sein.

Methodik

Ein Rapid Review wird in Entsprechung zur englischsprachigen Formulierung der Cochrane Rapid Reviews Group [3] folgendermaßen definiert:

Ein Rapid Review ist eine Form der Wissenssynthese, die durch Vereinfachung oder Weglassen methodischer Schritte eines traditionellen systematischen Reviews auf schnelle und ressourceneffiziente Weise Evidenz für Stakeholder generiert.

Die Entwicklung eines qualitativ hochwertigen, praktikablen Verfahrens der Durchführung von Rapid Reviews im Kompetenznetz Public Health zu COVID-19 (und darüber hinaus) erfolgte im Expert:innenkonsens der Mitglieder (n=42 zum 28.01.2021) der Querschnitts-AG Rapid Reviews. In 2 AG-Sitzungen wurden die wesentlichen methodischen Schritte besprochen und festgelegt, in 2 weiteren AG-Sitzungen wurde das Vorgehen in Form dieses Konsenspapieres ausformuliert und finalisiert. Methodisch stützt sich das Verfahren auf einen 8-Schritte-Ansatz, den Tricco et al. [1] für die Durchführung von Rapid Reviews im Rahmen von COVID-19 vorgeschlagen haben. [Abb. 1] zeigt diese 8 Schritte, die gewissermaßen im Sinne eines „Living Review“-Action Circle in eine Aktualisierung des Rapid Reviews mit Wiederholung dieser 8 Schritte (oder Teilen davon) münden.

Abb. 1 8-schrittiger Rapid Review-Prozess gemäß [1] *Im Falle eines mehrmaligen Durchlaufes des Prozesses wird 1. zu „Re-Formulierung der Fragestellung“.

Die 8 Schritte lauten: 1. Formulierung der Fragestellung, 2. Literatursuche, 3. Titel-Abstract- und Volltextsichtung, 4. Datenextraktion, 5. Risk of Bias-Bewertung, 6. Evidenzsynthese, 7. Dissemination, 8. Aktualisierung. Entsprechend dem von Tricco et al. [1] gewählten Verfahren werden im Folgenden für jeden einzelnen Schritt zunächst die „Herausforderungen“ beschrieben, die die einzelnen Schritte an die Rapid Review-Durchführenden stellen. Anschließend werden zu jedem Schritt Lösungsvorschläge angegeben. Diese basieren zum einen auf den Erfahrungen der Mitglieder der AG Rapid Reviews, zum anderen auf aktuellen Publikationen zu Rapid Review Methoden. Besondere Berücksichtigung fanden in diesem Zusammenhang die Cochrane-Richtlinien zu Rapid Reviews [3] sowie das „CAT HPPR“, ein im Rahmen eines BZgA-Projektes entwickeltes Qualitätsbewertungsinstrument zur Bewertung von Reviews zu Maßnahmen der Gesundheitsförderung und Prävention in Lebenswelten [4] [5] [6]. Soweit die Anmerkungen von Tricco et al. [1] in unsere Lösungsvorschläge eingingen, wird darauf ausdrücklich hingewiesen. Im Unterschied zu Tricco et al. [1] wird kein eigener Unterpunkt „Forschungsbedarfe“ aufgeführt; soweit seitens der AG Rapid Review-Mitglieder konkrete Forschungsbedarfe gesehen werden, sind diese in den Lösungsvorschlägen berücksichtigt.

Ergebnisse

Das nachfolgend vorgeschlagene Vorgehen soll ermöglichen, eine systematische Evidenzsynthese zu Public Health-Fragestellungen in kurzer Zeit durchzuführen. Typischerweise wird ein Rapid Review in einem Zeitraum von bis zu 4 Monaten erstellt [7]. Tricco et al. [1] weisen darauf hin, dass Entscheidungsträger:innen im Zuge der COVID-19-Pandemie eine Fertigstellung von Rapid Reviews zu COVID-19 häufig innerhalb von 5 bis 10 Tagen, gelegentlich sogar innerhalb von Stunden erwarten würden. Insofern kann es sicherlich nicht darum gehen, ein originäres systematisches Review durch einen erhöhten Personaleinsatz lediglich in kürzerer Zeit durchzuführen. Vielmehr sprechen wir im Folgenden nur dann von einem Rapid Review, wenn gewisse „Abstriche“ an die Methodik eines systematischen Reviews mit dem Ziel einer Abkürzung bzw. Beschleunigung des Erstellungsprozesses vorgenommen werden. Dabei sollen die Kernelemente originärer systematischer Reviews (u.a. klare Formulierung einer Forschungsfrage, Festlegung von Ein- und Ausschlusskriterien, Qualitätsbewertung der einbezogenen Primärstudien) sowie der systematischen Darstellung und Zusammenfassung der Ergebnisse erhalten bleiben. Eine Beschleunigung gegenüber einem originären systematischen Review lässt sich durch eine im Umfang reduzierte Forschungsfrage, durch Suchlimitationen (z.B. im Hinblick auf die durchsuchten Jahrgänge oder durch Eingrenzung der berücksichtigten Publikationssprachen), teilweisen Wegfall des Vier-Augen-Prinzips bei einzelnen Arbeitsschritten und ggf. auch durch den Verzicht auf eine quantitative Evidenzsynthese, also z.B. eine Metaanalyse, erreichen [7] [8] [9] [10].

Schritt 1: Formulierung der Forschungsfrage

Herausforderungen

Eine wesentliche „Stellschraube“ zur Erreichung einer raschen Evidenzgenerierung ist die enge und präzise Formulierung der Forschungsfrage. Bei der Formulierung der konkreten Forschungsfrage ist ein Austausch mit Entscheidungsträger:innen bzw. mit Auftraggeber:innen oder Forschungsförder:innen wichtig. „Research waste“ im Sinne einer Dopplung von Reviews ist zu vermeiden – (auch) diesem Ziel dient die internationale Vorab-Veröffentlichung des Studienprotokolls.

Lösungsvorschlag

Um eine mehrfache Erstellung von Rapid Reviews zum gleichen Thema („research waste“) zu vermeiden, ist vor Beginn eines Rapid Reviews zu prüfen, ob bereits systematische Wissenssynthesen veröffentlicht wurden oder ob bereits andere Arbeitsgruppen die Durchführung eines (Rapid) Reviews insbesondere auf den Plattformen PROSPERO (https://www.crd.york.ac.uk/prospero/) oder OSF (https://osf.io/) angemeldet haben. Die Forschungsfrage soll auf der Grundlage der PECOS-Kriterien (P = Population, E = Exposition bzw. I = Intervention, C = Comparison/Vergleichsgruppe, O = Outcome, S = Studiendesign) formuliert werden. Eine Veröffentlichung des Studienprotokolls [3] [5] sollte vorzugsweise in der PROSPERO-Datenbank oder auf der OSF-Plattform erfolgen.

Schritt 2: Literatursuche

Herausforderungen

Die Literatursuche steht grundsätzlich vor der Herausforderung, möglichst alle relevanten Studien aufzufinden. Die damit verbundene Forderung nach einer hohen Sensitivität der Suche kann bei originären systematischen Reviews zu Trefferzahlen in fünfstelliger Höhe führen. Solch hohe Trefferzahlen können in einem Rapid Review nicht bewältigt werden.

Lösungsvorschlag

In unmittelbarer „Übersetzung“ der PECOS-Forschungsfrage ist durch eine erfahrene Person ein möglichst spezifischer Suchstring bei vertretbaren Einbußen an Sensitivität zu erstellen. Der Suchstring ist durch eine zweite Person zu überprüfen [3]. Vorab sollten themenspezifische Schlüsselstudien festgelegt werden, die durch den Suchstring überwiegend gefunden werden sollten. Die Literatursuche hat in mindestens einer Datenbank (i.d.R. Medline oder Embase) zu erfolgen, ergänzt durch eine zusätzliche Suchstrategie (z.B. die Suche in Referenzlisten) [5]. Vor allem bei COVID-19-bezogenen Fragestellungen sind auch Preprint-Datenbanken wie medRxiv wichtig. Die Literatursuche sollte i.d.R. auf englisch- und deutschsprachige Publikationen [5] beschränkt werden (bzw. auf Publikationen in englischer Sprache und in der jeweiligen Landessprache).

Schritt 3: Titel-Abstract- und Volltextsichtung

Herausforderungen

Die Literatursichtung ist bei originären systematischen Reviews zeit- und personalaufwendig. Dazu trägt auch die erforderliche „Doppelung“ aller Schritte bei, die im Rapid Review in reduzierter Form erfolgen kann.

Lösungsvorschlag

Titel-Abstract- und Volltextsichtung sollten pilotiert werden; diesbezüglich sollte eine Doppelsichtung von etwa 50 Abstracts und etwa 5 bis 10 Volltexten [3] durch 2 Personen unabhängig voneinander erfolgen sowie eine anschließende Konsentierung des Vorgehens. Anschließend erfolgen Titel-Abstract-Sichtung und Volltextsichtung durch eine Person, ergänzt durch eine stichprobenhafte Überprüfung durch eine zweite Person (etwa 20% der Titel-Abstracts bzw. der Volltexte umfassend) [3] [5].

Schritt 4: Datenextraktion

Herausforderungen

Als methodisches „Ideal“ eines systematischen Reviews wird eine doppelte Extraktion der Charakteristika und Ergebnisse der einbezogenen Primärstudien („Datenextraktion“) durch 2 Personen unabhängig voneinander durchgeführt. Unstimmigkeiten zwischen den beiden Personen werden i.d.R. im Konsensverfahren geklärt. Aus Gründen der Zeitersparnis ist dieses aufwendige Verfahren in einem Rapid Review nicht zu leisten.

Lösungsvorschlag

Im Rapid Review kann die Datenextraktion durch eine erfahrene Person erfolgen [5]. Auch die Datenextraktion sollte pilotiert werden. Die resultierenden Extraktionstabellen sollten stichprobenartig durch eine weitere Person überprüft werden [5].

Schritt 5: Risk of Bias-Bewertung

Herausforderungen

Wird die Evidenzsynthese auf systematisch verzerrte Studienergebnisse gegründet, so können falsche Schlussfolgerungen resultieren. Grundsätzlich sind Beobachtungsstudien – am stärksten ökologische Studien, gefolgt von Querschnittsstudien – anfälliger gegenüber einer Verzerrung als randomisierte kontrollierte Studien. Dennoch würde es zu kurz greifen, allen Beobachtungsstudien pauschal ein hohes Risiko für eine Verzerrung („high risk of bias“) zu attestieren. Es bedarf daher eines Bewertungstools des Bias-Risikos, welches eine Differenzierung (auch) zwischen methodisch adäquaten und inadäquaten Beobachtungsstudien leisten kann.

Lösungsvorschlag

Auch die Risk of Bias-Bewertung kann im Rapid Review durch eine erfahrene Person erfolgen [5]. Die Ergebnisse der Qualitätsbewertung sollten stichprobenartig durch eine weitere Person überprüft werden [5]. Die Risk of Bias-Bewertung sollte ebenfalls pilotiert werden. Im Rahmen der Arbeit der AG Rapid Reviews des Kompetenznetzes Public Health zu COVID-19 konnte nicht „das“ Bewertungsinstrument identifiziert werden, welches generell für den Einsatz in Rapid Reviews zu empfehlen ist. Als „klassische“ Tools für randomisierte kontrollierte Studien ist das Cochrane RoB-Tool 2.0 [11] einsetzbar, für Kohorten- und Fallkontrollstudien zu Interventionen ROBINS-I [12], für diagnostische Studien QUADAS 2 [13]. Auch für den Einsatz in ätiologisch ausgerichteten Beobachtungsstudien ist eine hohe Zahl von Bewertungstools verfügbar: In einem systematischen Review unter Leitung von Wissenschaftler:innen der University of Sydney [14] konnten diesbezüglich 62 unterschiedliche Tools identifiziert werden. Die Entscheidung für ein spezifisches Bewertungstool kann in Abhängigkeit vom Einsatzbereich und Studienthema, aber auch von Vorerfahrungen der Reviewgruppe erfolgen. Es sollte darauf geachtet werden, dass die wichtigsten Verzerrungs-“Domänen“ (insbesondere auch Selektions-Bias, Expositionserfassung, Outcome-Erfassung, Confounding, Analysemethode, Interessenkonflikte) berücksichtigt werden. Weiterhin sollte das eingesetzte Bewertungsinstrument eine gesonderte Risk of Bias-Bewertung für die einzelnen Domänen enthalten und keinen Summenscore über alle Domänen bilden; denn selbst bei einem fatalen Fehler in einer Domäne mit daraus resultierender erheblicher Verzerrung der Studienergebnisse kann u.U. ein hoher Summenscore gebildet werden. In jedem Fall sollte das eingesetzte Tool validiert sein und in Abhängigkeit vom Studiendesign gewählt werden. Bei der Nutzung der Evidenz aus Preprints ist die noch ungesicherte Qualität entsprechender Veröffentlichungen zu beachten.

Die in [Tab. 1] genannten drei Instrumente können (neben anderen) Einsatz insbesondere in ätiologisch ausgerichteten Rapid Reviews finden. In [Tab. 2] wird das entwickelte standardisierte Verfahren zusammengefasst.

Tab. 1 Beispiele für Risk of Bias-Verfahren mit Eignung insbesondere auch für die Qualitätsbewertung von ätiologisch ausgerichteten Beobachtungsstudien.

Instrument	Risk of Bias (RoB)-Domänen	Besonderheiten/Anmerkungen
Woodruff et al. [15]	Neun RoB-Domänen: 1. Baseline differences, 2. Knowledge of the exposure groups prevented? 3. Exposure assessment, 4. Outcome assessment, 5. Confounding & effect modification, 6. Incomplete outcome data, 7. Selective outcome reporting, 8. Conflict of interests, 9. Other problems	Neben low RoB und high RoB auch probably low RoB („insufficient information about … to permit a judgement of low risk of bias, but there is indirect evidence that suggests the study was free of …“) und probably high RoB
WHO [16]	Sechs RoB-Domänen: 1. Confounding, 2, Selection bias, 3. Exposure assessment, 4. Outcome measurement, 5. Missing data, 6. Selective reporting; Angabe von Subdomänen	Jeweils Einteilung in low-risk, moderate-risk, high-risk; keine Domänen-übergreifende Gesamteinschätzung
Romero Starke et al. [2]	Fünf Major-Domänen: 1. Recruitment procedure, 2. Exposure definition & assessment, 3. Outcome, 4. Confounding & effect modification, 5. Analysis method und drei Minor-Domänen: 6. Chronology [je nach Fragestellung auch Major Domäne], 7. Funding, 8. Conflict of Interest	Enge Orientierung am Cochrane Risk of Bias-Verfahren; insgesamt low RoB, wenn alle Major-Domänen low RoB (unclear RoB wird somit faktisch als high RoB gewertet)

Tab. 2 Standardisiertes, an COVID-19-Belange angepasstes Vorgehen zur Erstellung von Rapid Reviews in enger Anlehnung an [3] und [5].

	An COVID-19-Belange angepasste Definition
Definition	„Ein Rapid Review ist eine Form der Wissenssynthese, die durch Vereinfachung oder Weglassen methodischer Schritte eines traditionellen systematischen Reviews auf schnelle und ressourceneffiziente Weise Evidenz für Stakeholder generiert“
Dauer	Ca. 1 bis 6 Monate; systematische Reviews ohne methodische Verkürzungen sind auch bei kurzer Dauer keine Rapid Reviews
PECOS/PICOS-Kriterien	Müssen angegeben werden (enge Fragestellung; Anpassungen möglich; zunächst Vorliegen systematischer Reviews prüfen)
Publikationssprache	I.d.R. Englisch und Deutsch (bzw. die jeweilige Landessprache)
Studienprotokoll	Soll publiziert werden z.B. in OSF oder PROSPERO
Sichtung	Titel-Abstract- und Volltextsichtung pilotieren (ca. 50 Abstracts, ca. 5–10 Volltexte), dann durch 1 erfahrene Person; stichprobenhafte Überprüfung (ca. 20% der Titel-Abstracts bzw. Volltexte)1
Suchstring	Möglichst spezifischer Suchstring bei vertretbaren Einbußen an Sensitivität erstellt durch eine erfahrene Person (Auffindung von Schlüsselstudien prüfen); Prüfung durch 2. Person
Datenbank-Suche	Mind. 1 Datenbank (i.d.R. Medline oder Embase) und eine zusätzliche Suchstrategie (z.B. Referenzlisten)2
Datenextraktion und Qualitätsbewertung	Datenextraktion und Qualitätsbewertung kann durch 1 erfahrene Person erfolgen, Voraussetzungen: erfahrene Person, stichprobenartige Überprüfung durch weitere Person3

¹ Anzahl der Prüfung sollte abhängig von der Trefferzahl der gefundenen Publikationen sein. Werden nur wenig Treffer in der Suche erzielt, empfiehlt sich eine doppelte Sichtung. ² Empfohlen wird eine Suche in mindestens 2 Datenbanken; es wird angeraten, relevante Preprint-Server in die Suche einzubeziehen. ³ Die Anzahl der Studien, die geprüft werden, sollte in Abhängigkeit von der Anzahl der extrahierten Studien festgelegt werden. Werden nur sehr wenige Studien extrahiert, so empfiehlt sich eine doppelte Sichtung.

Schritt 6: Evidenzsynthese

Herausforderungen

Häufig wird in Rapid Reviews auf eine quantitative Evidenzsynthese zugunsten einer narrativen Evidenzsynthese verzichtet. Damit geht ein Informationsverlust einher, da keine gepoolten Effektschätzer berechnet und damit die Risiken nicht quantifiziert werden können.

Lösungsvorschlag

Auch in Rapid Reviews sollten metaanalytische Techniken zur Berechnung gepoolter Effektschätzer Einsatz finden, sofern die Studien dies zulassen. So kann die Bildung aggregierter Effektschätzer beispielsweise dann nicht erfolgen, wenn sich deutliche Unterschiede in der Definition von Expositionen oder Outcomes der eingeschlossenen Primärstudien finden. Wünschenswert – aber nicht zuletzt zeitaufwendig – wäre hier die Durchführung prospektiver Metaanalysen (PMA) auf der Grundlage individueller Daten (IPD [17] [18]). Ein pragmatischer und auch für ätiologische Beobachtungsstudien zu COVID-19 diskutabler bzw. anzustrebender Ansatz könnte die Durchführung prospektiver Metaanalysen mit gepoolten (anstelle von individuellen) Daten darstellen. Eine enge Zusammenarbeit der beteiligten Forschungsgruppen ist (auch) hier erforderlich, da vor Durchführung der einzelnen Primärstudien in den verschiedenen Studienzentren eine Einigung auf gemeinsame Expositions- und Outcome-Definitionen erfolgen muss. Ein Beispiel für eine derartige prospektive Metaanalyse mit gepoolten Daten stellt die WHO-REACT-Analyse zur Wirkung der Corticosteroid-Gabe auf die Mortalität lebensbedrohlich kranker COVID-19-Patient*innen dar [19].

Über die Beurteilung der Qualität der eingeschlossenen Primärstudien hinaus ist eine studienübergreifende Beurteilung der Vertrauenswürdigkeit der Evidenz wünschenswert, wie sie mit dem GRADE-Verfahren geleistet werden kann [20]. Es liegen Anpassungen des GRADE-Verfahrens für die Beantwortung ätiologisch ausgerichteter Fragestellungen auf der Grundlage von Beobachtungsstudien vor [21]. Grundsätzlich sollte auf eine Bewertung der Vertrauenswürdigkeit der Evidenz mit GRADE oder anderen etablierten Verfahren nicht verzichtet werden.

Schritt 7: Dissemination

Herausforderungen

Die – wie Tricco et al. [1] es ausdrücken – „up-to-the-minute nature“ der COVID-19-Pandemie wird häufig nicht den zeitlichen Spielraum zu einem regulären Peer Review-Verfahren in einer wissenschaftlichen Fachzeitschrift lassen.

Lösungsvorschlag

Im Rahmen des Kompetenznetzes Public Health zu COVID-19 wurde ein formalisiertes Review-Verfahren (unter Einbezug von drei rasch zu erstellenden Peer Reviews) entwickelt, das eine rasche Publikation der Ergebnisse eines Rapid Reviews in Form von Policy Briefs oder Hintergrundpapieren auf der Webseite des Kompetenznetzes ermöglicht.

Schritt 8: Aktualisierung

Herausforderungen

Die „Halbwertszeit“ neuer Erkenntnisse zum Thema COVID-19 ist teilweise sehr kurz. Insofern bedarf es eines Verfahrens, das die Aktualität der Erkenntnisse sicherstellt.

Lösungsvorschlag

Im Kompetenznetz Public Health zu COVID-19 wurde ein formalisiertes Verfahren einer regelmäßigen Aktualisierung der entwickelten Papiere eingeführt: mindestens einmal im Monat sollte eine Überprüfung der Aktualität erfolgen. Bei wesentlichem inhaltlichem Änderungsbedarf erfolgt ein erneutes formalisiertes Peer Review-Verfahren. Tatsächlich ließ sich dieses Verfahren aufgrund mangelnder personeller Ressourcen oft nicht wie geplant realisieren. Generell kann bei der Abschätzung kurzfristig zu erwartender Publikationen zum Thema und damit bei der Entscheidung über einen bestehenden Aktualisierungsbedarf die Sichtung von Preprint-Datenbanken hilfreich sein. Im Zusammenhang mit der COVID-19-Pandemie hat die Methodik der „Living Reviews“ [20] an Bedeutung gewonnen; hier geht es darum, die Literatursuche kontinuierlich zu aktualisieren und neue Studien einzuschließen, sobald diese verfügbar sind. Offen ist, wie solche kontinuierlichen Prozesse in Forschungsprojekten personell und finanziell dauerhaft umgesetzt werden können. Generell sollten zur kurzfristigen Realisierung von methodisch hochwertigen (Rapid) Reviews zu neuen Fragestellungen flexible und kurzfristig aktivierbare Förderkonzepte bereitgestellt werden (Rapid Reviews >> Rapid Funding-System).

Diskussion und Schluss

In der Querschnitts-AG Rapid Reviews des Kompetenznetzes Public Health zu COVID-19 wurde ein standardisiertes 8-schrittiges Verfahren zur Erstellung von Rapid Reviews erarbeitet. Dieses Verfahren weist mehrere Vorteile auf: es berücksichtigt wichtige methodische Entwicklungen und Erfahrungen insbesondere auch des Cochrane Netzwerkes; es eignet sich auch zur Beantwortung ätiologischer Fragestellungen auf der Grundlage von Beobachtungsstudien; es erlaubt eine Anpassung des Vorgehens an die jeweilige Fragestellung; und schließlich ist es in die aktuelle Arbeit des Kompetenznetzes Public Health implementiert, das u.a. auch als Austauschplattform fungiert und bei Bedarf methodische Unterstützung vermitteln kann. Grundsätzlich kann das beschriebene Vorgehen auch für Fragestellungen über die COVID-19-Pandemie hinaus Geltung haben. Eine Weiterentwicklung des vorgeschlagenen Verfahrens sollte insbesondere die Möglichkeiten der (teilweisen) Automatisierung einzelner Schritte berücksichtigen (z.B. durch Anwendung des „Machine Learning“). Neuere methodische Ansätze (wie etwa die prospektive Metaanalyse) sind explizit auf eine hohe Kooperation der Wissenschaftler:innen angewiesen. In diesem Sinne möchten wir unseren Erfahrungsbericht und unseren methodischen Vorschlag ausdrücklich auch mit der Hoffnung darauf verbinden, dass die COVID-19-Pandemie den wissenschaftlichen Austausch und die wissenschaftliche Zusammenarbeit nachhaltig stärken möge.

Interessenkonflikt

Die Autorinnen/Autoren geben an, dass kein Interessenkonflikt besteht.

• Literatur

• 1 Tricco AC, Garritty CM, Boulos L. et al. Rapid review methods more challenging during COVID-19: commentary with a focus on 8 knowledge synthesis steps. J Clin Epidemiol 2020; 126: 177-183
• 2 Romero Starke K, Petereit-Haack G, Schubert M. et al. The Age-Related Risk of Severe Outcomes Due to COVID-19 Infection: A Rapid Review, Meta-Analysis, and Meta-Regression. Int J Environ Res Public Health 2020; 17: 5974
• 3 Garritty C, Gartlehner G, Kamel C. et al. Cochrane Rapid Reviews. Interim Guidance from the Cochrane Rapid Reviews Methods Group. (März 2020 Im Internet: https://methods.cochrane.org/rapidreviews/sites/methods.cochrane.org.rapidreviews/files/public/uploads/cochrane_rr_-_guidance-23mar2020-final.pdf; Stand: 10.01.2021
• 4 Heise T, Seidler A, Girbig M. et al. Manual des Qualitätsbewertungsinstruments zur Bewertung von Reviews bzgl. Maßnahmen der Gesundheitsförderung und Prävention in Lebenswelten (Version 1.4). 2021 [im Druck]
• 5 Heise TL, Seidler A, Girbig M. et al. Developing the CAT HPPR – a critical appraisal tool to assess the quality of systematic-, rapid-, and scoping-reviews investigating interventions in health promotion and prevention [Abstract] (2020). Im Internet: https://abstracts.cochrane.org/2020-abstracts/developing-cat-hppr-critical-appraisal-tool-assess-quality-systematic-rapid-and Stand: 10.01.2021
• 6 Alayli AFG, Witte C, Haß W. et al. Wissen für Gesunde Lebenswelten: Eine Datenbank zum Praxistransfer von Erkenntnissen aus Systematischen Übersichtsarbeiten. Bundesgesundheitsblatt 2021 [eingereicht]
• 7 Tricco AC, Langlois EV, Straus S. eds. Rapid reviews to strengthen health policy and systems: a practical guide. WHO (2017). Im Internet: https://apps.who.int/iris/bitstream/handle/10665/258698/9789241512763-eng.pdf; Stand: 10.01.2021
• 8 Tricco AC, Antony J, Zarin W. et al. A scoping review of rapid review methods. BMC Medicine 2015; 13: 224
• 9 Grant MJ, Booth A. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information & Libraries. Journal 2009; 26: 91-108
• 10 Khangura S, Polisena J, Clifford TJ. et al. Rapid review: an emerging approach to evidence synthesis in health technology assessment. International Journal of Technology Assessment in Health Care 2014; 30: 20-27
• 11 Cochrane Methods. Risk of Bias 2 (RoB 2) Tool (2020). Im Internet: https://methods.cochrane.org/risk-bias-2; Stand: 18.01.2021
• 12 Sterne JAC, Hernán MA, McAleenan A. et al. Chapter 25: Assessing risk of bias in a non-randomized study. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA, eds. Cochrane Handbook for Systematic Reviews of Interventions version 6.1 (updated September 2020). Cochrane. (2020). Im Internet: www.training.cochrane.org/handbook; Stand: 18.01.2021
• 13 Whiting PF, Rutjes AW, Westwood ME. et al. QUADAS-2 Group. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med 2011; 155: 529-36
• 14 Wang Z, Taylor K, Allman-Farinelli M. et al. A systematic review: Tools for assessing methodological quality of human observational studies. (2019). Im Internet: https://www.nhmrc.gov.au/sites/default/files/documents/attachments/Tools%20for%20assessing%20methodological%20quality%20of%20observational%20studies.pdf; Stand: 10.01.2021
• 15 Woodruff TJ, Sutton P. The Navigation Guide systematic review methodology: a rigorous and transparent method for translating environmental health science into better health outcomes. Environ Health Perspect 122: 1007-14
• 16 WHO. WHO Global Air Quality Guidelines Working Group on Risk of Bias Assessment. Risk of Bias assessment instrument for systematic reviews informing WHO Global Air Quality Guidelines (2020). Im Internet: https://www.euro.who.int/en/health-topics/environment-and-health/air-quality/publications/2020/risk-of-bias-assessment-instrument-for-systematic-reviews-informing-who-global-air-quality-guidelines-2020; Stand: 10.01.2021
• 17 Seidler AL, Hunter KE, Cheyne S. et al. A guide to prospective meta-analysis. BMJ 2019; 367: l5342
• 18 Seidler AL, Hunter KE, Cheyne S. et al. Prospective meta-analyses and Cochrane's role in embracing next-generation methodologies. Cochrane Database of Systematic Reviews (2020). Im Internet: https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.ED000145/full; Stand: 10.01.2021
• 19 WHO Rapid Evidence Appraisal for COVID-19 Therapies (REACT) Working Group. Association between administration of systemic corticosteroids and mortality among critically ill patients with COVID-19. A meta-analysis. JAMA 2020; 24: 1330-1341
• 20 JPT Higgins, Thomas J, Chandler J. et al. eds. Cochrane Handbook for Systematic Reviews of Interventions version 6.1 (updated September 2020). Cochrane. (2020). Im Internet: www.training.cochrane.org/handbook; Stand: 11.01.2021
• 21 Hulshof CTJ, Colosio C, Daams JG. et al. WHO/ILO work-related burden of disease and injury: Protocol for systematic reviews of exposure to occupational ergonomic risk factors and of the effect of exposure to occupational ergonomic risk factors on osteoarthritis of hip or knee and selected other musculoskeletal diseases. Environ Int 2019; 125: 554-566

Publication History

Article published online:
25 February 2021