JBI Checkliste für die kritische Bewertung von Übersichtsarbeiten

Beurteilende Person Klicken oder tippen Sie hier, um Text einzugeben.

Datum Klicken oder tippen Sie hier, um Text einzugeben.

Autor Klicken oder tippen Sie hier, um Text einzugeben.

Jahr Klicken oder tippen Sie hier, um Text einzugeben.

Ja	Nein	Unklar	Nicht zutreffend
Ist die Forschungsfrage klar und präzise formuliert?	☐	☐	☐	☐
Waren die Einschlusskriterien für die Forschungsfrage geeignet?	☐	☐	☐	☐
War die Suchstrategie geeignet?	☐	☐	☐	☐
Waren die verwendeten Quellen und Mittel für die Studiensuche geeignet?	☐	☐	☐	☐
Waren die Kriterien für die kritische Beurteilung der Studien geeignet?	☐	☐	☐	☐
Wurde die kritische Beurteilung durch zwei oder mehrere unabhängige Personen vorgenommen?	☐	☐	☐	☐
Wurden Massnahmen ergriffen, um Fehler bei der Datenextraktion zu minimieren?	☐	☐	☐	☐
Waren die Methoden zur Zusammenfassung der Studien geeignet?	☐	☐	☐	☐
Wurde die Wahrscheinlichkeit eines Publikationsbias eingeschätzt?	☐	☐	☐	☐
Waren die Empfehlungen für die Gesundheitspolitik und/oder Praxis abgestützt auf die beschriebenen Daten?	☐	☐	☐	☐
Waren die spezifischen Empfehlungen für weiterführende Forschung geeignet?	☐	☐	☐	☐

Gesamtbeurteilung:

Einschluss ☐	Ausschluss ☐	Suche nach weiteren Informationen ☐

Quelle: Aromataris E, Fernandez R, Godfrey C, Holly C, Kahlil H, Tungpunkom P. Summarizing systematic reviews: methodological development, conduct and reporting of an Umbrella review approach. Int J Evid Based Healthc. 2015;13(3):132-40.

Gemäss der JBI Methodik sollte bei Umbrella-Reviews das Beurteilungsinstrument für systematische Übersichtsarbeiten verwendet werden.

Die beiden begutachtenden Personen sollten jedes Item des Beurteilungsinstruments für jede eingeschlossene Studie besprechen. Sie sollten vor allem diskutieren, was für die geplanten Ziele der Übersichtsarbeit in Bezug auf verschiedene Studiencharakteristika akzeptabel ist. Bei der Beurteilung von systematischen Übersichtsarbeiten können zum Beispiel die Angemessenheit der Suchstrategien oder geeignete Methoden der Zusammenfassung diskutiert werden. Die begutachtenden Personen sollten sich darauf einigen, was jeweils einem akzeptablen Niveau entspricht, um die Beurteilung «positiv», «negativ» oder «unklar» ausfallen zu lassen. Diese Diskussion zwischen den begutachtenden Personen sollte im Idealfall vor der unabhängigen Beurteilung stattfinden. Im Rahmen von Umbrella-Reviews können quantitative oder qualitative systematische Übersichtsarbeiten sowie Metaanalysen eingeschlossen werden. Es gibt 11 Fragen zur Beurteilung systematischer Übersichtsarbeiten oder Metaanalysen. Jede Frage sollte mit «Ja», «Nein» oder «Unklar» beantwortet werden. «Nicht zutreffend» ist ebenfalls eine Option, die aber nur selten zutreffen wird.

Kommentare zur kritischen Beurteilung von Übersichtsarbeiten

Bitte zu jedem Punkt die Einschätzung in der Tabelle auf Seite 1 vornehmen, sowie eine Begründung in den Textfeldern (gelb hervorgehoben) auf den kommenden Seiten anbringen.
Die Erklärungen zu den einzelnen Punkten findest du am Ende des Dokuments.

Ist die Forschungsfrage klar und präzise formuliert?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Einschlusskriterien für die Forschungsfrage geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

War die Suchstrategie geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die verwendeten Quellen und Mittel für die Studiensuche geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Kriterien für die kritische Beurteilung der Studien geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurde die kritische Beurteilung durch zwei oder mehrere unabhängige Personen vorgenommen?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden Massnahmen ergriffen, um Fehler bei der Datenextraktion zu minimieren?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Methoden zur Zusammenfassung der Studien geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurde die Wahrscheinlichkeit eines Publikationsbias eingeschätzt?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Empfehlungen für die Gesundheitspolitik und/oder Praxis abgestützt auf die beschriebenen Daten?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die spezifischen Empfehlungen für weiterführende Forschung geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Erläuterungen zur kritischen Beurteilung von Übersichtsarbeiten

Ist die Forschungsfrage klar und präzise formuliert?

Die Forschungsfrage ist ein wesentlicher Schritt im Prozess einer systematischen Übersichtsarbeit. Eine gut formulierte Frage definiert den Umfang der Übersichtsarbeit und hilft bei der Entwicklung der Suchstrategie, um die relevante Evidenz zu identifizieren. Eine deutlich ausgearbeitete Frage, die anhand des PIKE Schemas (Population, Intervention, Kontrolle, Ergebnis) formuliert wurde, hilft einerseits dem Gutachterteam bei der Erstellung der Übersichtsarbeit. Andererseits hilft sie den Lesenden auch zu beurteilen, ob die Ziele der Übersichtsarbeit erreicht wurden. Im Idealfall sollte die Fragestellung in einem veröffentlichten Protokoll dokumentiert sein, was eventuell aber bei vielen Übersichtsarbeiten nicht der Fall sein wird.

Waren die Einschlusskriterien für die Forschungsfrage geeignet?

Die Einschlusskriterien sollten anhand der Fragestellung erkennbar sein und mit dieser übereinstimmen. Die nötigen Elemente des PIKE Schemas sollten deutlich und genau definiert sein. Die Einschlusskriterien sollten detailliert sein und die eingeschlossenen Übersichtsarbeiten sollten eindeutig passen, wenn sie mit den Einschlusskriterien abgeglichen werden. Es kann sein, dass GutachterInnen von Metaanalysen Einschlusskriterien vorfinden zur Durchführung statistischer Analysen, die für systematische Übersichtsarbeiten unüblich wären. Die eingeschlossenen Studiendesigns sollten für die Fragestellung relevant sein. Zum Beispiel wird sich ein Umbrella-Review zur Wirksamkeit nicht-pharmakologischer Interventionen bei aggressivem Verhalten von älteren Menschen mit Demenz darauf beschränken, systematische Übersichtsarbeiten und Metaanalysen aufzunehmen, die quantitative Studien zur Bewertung der verschiedenen Interventionen zusammenfassen. Qualitative oder ökonomische Übersichtsarbeiten sollten dabei nicht berücksichtigt werden.

War die Suchstrategie geeignet?

Klicken oder tippen Sie hier, um Text einzugeben.

Eine systematische Übersichtsarbeit sollte die Suchstrategien genau beschreiben, die zur Identifizierung von Evidenz verwendet wurden. Die Beschreibung der Suchstrategien kann im Methodenteil der Übersichtsarbeit zu finden sein oder als Anhang, der als zusätzliche Information zur Übersichtsarbeit zur Verfügung gestellt wird. Eine systematische Übersichtsarbeit sollte eine klare Suchstrategie vorweisen, die auf jedes Element des PIKE Schemas der Fragestellung eingeht. Einige Übersichtsarbeiten können auch eine genauere Beschreibung der Suche und der letztendlich verwendeten Suchwörter enthalten, obwohl dies aufgrund der Wortbegrenzung in Fachzeitschriften eher bei reinen Online-Fachzeitschriften vorkommen wird. Es sollten Nachweise über die Verwendung von logischen und relevanten Suchwörtern/Suchbegriffen vorliegen und auch über die Verwendung von Schlagwörtern und Indexwörtern bei der Durchführung der Suche. Suchfilter und deren mögliche Auswirkung sollten auch berücksichtigt werden. Wurde zum Beispiel eine Datumsbegrenzung vorgenommen, sollte man beurteilen, ob diese angemessen und / oder begründet war? Falls nur englischsprachige Studien eingeschlossen wurden, sollte man sich fragen, ob sich dieser Sprachbias eventuell auf das Ergebnis der Übersichtsarbeit auswirkt. Die Antworten auf diese Überlegungen hängen sicher auch von der Fragestellung ab.

Waren die verwendeten Quellen und Mittel für die Studiensuche geeignet?

Eine systematische Übersichtsarbeit sollte versuchen möglichst die «gesamte» verfügbare Evidenz zu ermitteln und deshalb sollten Nachweise für eine umfassende Suchstrategie vorhanden sein. Mehrere elektronische Datenbanken sollten durchsucht werden, darunter wichtige Fachdatenbanken wie Medline und CINAHL. Im Idealfall sollten auch andere für die Fragestellung relevanten Datenbanken durchsucht werden. Zum Beispiel eine systematische Übersichtsarbeit mit einer Frage zu einer physiotherapeutischen Intervention sollte die Suche auch in der PEDro Datenbank durchführen, während eine Übersichtsarbeit, die pädagogische Interventionen untersucht auch in ERIC suchen sollte. Übersichtsarbeiten zur Wirksamkeit sollten Studienregister durchsuchen. Eine umfassende Suche ist der beste Weg, um einen Publikationsbias zu minimieren. Aus diesem Grund sollte eine gut durchgeführte systematische Übersichtsarbeit auch versuchen nach grauer Literatur oder «unveröffentlichten» Studien zu suchen. Dies kann die Suche nach Internetseiten oder Archiven mit Abschlussarbeiten beinhalten, die für die Forschungsfrage relevant sind.

Waren die Kriterien für die kritische Beurteilung der Studien geeignet?

Die systematische Übersichtsarbeit sollte eine klare Aussage darüber enthalten, dass eine kritische Beurteilung durchgeführt wurde, und Details über die verwendeten Messinstrumente zur Beurteilung der eingeschlossenen Studien angeben. Dies kann im Methodenteil der Übersichtsarbeit dargestellt werden, im Anhang als ergänzende Information oder als Hinweis zu einer auffindbaren Quelle. Die verwendeten Instrumente sollten für die Fragestellung und die Art der durchgeführten Forschung geeignet sein. Zum Beispiel sollte man bei einer systematischen Übersichtsarbeit zur Wirksamkeit ein Messinstrument verwenden, das Aspekte der Validität für experimentelle Studien und für randomisiert kontrollierte Studien beinhaltet, wie Randomisierung und Verblindung. Falls die Übersichtsarbeit Beobachtungsstudien zur Beantwortung der gleichen Frage miteinschliesst, wäre ein anderes Messinstrument besser geeignet. In ähnlicher Weise kann sich eine Übersichtsarbeit zur Bewertung der Genauigkeit von diagnostischen Tests auf das QUADAS1-Instrument beziehen.

Wurde die kritische Beurteilung durch zwei oder mehrere unabhängige Personen vorgenommen?

Die kritische Beurteilung oder eine ähnliche Beurteilung der Qualität der eingeschlossenen Literatur ist wesentlich bei einer systematischen Übersichtsarbeit. Um eine Verzerrung oder einen systematischen Fehler zu minimieren, sollte als wesentliches Merkmal einer systematischen Übersichtsarbeit die kritische Beurteilung durch zwei begutachtende Personen unabhängig voneinander durchgeführt werden. Die systematische Übersichtsarbeit sollte eine klare Aussage dazu enthalten, dass die kritische Beurteilung durch mindestens zwei unabhängige Personen durchgeführt wurde und diese gegebenenfalls Rücksprache hielten, um eine endgültige Entscheidung über die Studienqualität und Studieneignung basierend auf der Qualität zu treffen.

Wurden Massnahmen ergriffen, um Fehler bei der Datenextraktion zu minimieren?

Weitere Bemühungen bei der Datenextraktion, können ebenfalls Verzerrungen oder systematische Fehler bei der Durchführung einer systematischen Übersichtsarbeit minimieren. Strategien, um Verzerrungen zu minimieren können sein: die Datenextraktion doppelt und unabhängig durchzuführen, die Verwendung spezifischer Instrumente zur Datenextraktion und Hinweise auf Pilotierung oder Schulungen rund um den Gebrauch der Instrumente.

Waren die Methoden zur Zusammenfassung der Studien geeignet?

Eine Synthese der Evidenz ist ein wesentliches Merkmal einer systematischen Übersichtsarbeit. Diese Synthese sollte für die Fragestellung, die Art der Übersichtsarbeit und die angegebene Evidenz geeignet sein. Wurde eine Metaanalyse durchgeführt, muss diese sorgfältig geprüft werden. War es sinnvoll die Studien zu kombinieren? Haben die GutachterInnen die Heterogenität statistisch bewertet und eine Erklärung für die möglicherweise vorhandene Heterogenität abgegeben? Häufig ist die narrative Synthese die geeignete Methode, um die Ergebnisse von mehreren Studien darzustellen, wenn heterogene Studien in die systematische Übersichtsarbeit eingeschlossen werden. Handelt es sich um eine qualitative Übersichtsarbeit, sind die Methoden für die Synthese der Ergebnisse übereinstimmend mit der beschriebenen Methodik der Übersichtsarbeit? Gibt es ausreichend beschriebene und erklärende Informationen, um die endgültigen synthetisierten Ergebnisse aus den ursprünglichen Forschungsarbeiten zu belegen?

Wurde die Wahrscheinlichkeit eines Publikationsbias eingeschätzt?

Wie bereits erwähnt, ist eine umfassende Suchstrategie der beste Ansatz in einer Übersichtsarbeit, um die Auswirkungen eines Publikationsbias auf die Ergebnisse der Übersichtsarbeit zu verringern. Übersichtsarbeiten können auch statistische Tests wie den Egger-Test oder Funnel-Plots beinhalten, um das potenzielle Vorhandensein eines Publikationsbias und deren Einfluss auf die Ergebnisse der Übersichtsarbeit zu untersuchen. Diese Frage gilt nicht für systematische Übersichtsarbeiten von qualitativen Studien.

Waren die Empfehlungen für die Gesundheitspolitik und/oder Praxis abgestützt auf die beschriebenen Daten?

Während die ersten neun Fragen speziell darauf fokussieren mögliche Verzerrungen bei der Durchführung der systematischen Übersichtsarbeit zu identifizieren, sind die letzten Fragen eher Indikatoren für die inhaltliche Qualität («Aussagekraft») der Übersichtsarbeit als für die Validität. Im Idealfall sollte eine Übersichtsarbeit aussagefähige Empfehlungen für die Gesundheitspolitik und/oder Praxis enthalten. Diese Empfehlungen sollten einen klaren Bezug zu den Ergebnissen der Übersichtsarbeit haben. Gibt es Evidenz dafür, dass die Stärke der Ergebnisse und die Qualität der Studien bei der Formulierung der Empfehlungen berücksichtigt wurden?

Waren die spezifischen Empfehlungen für weiterführende Forschung geeignet

Das systematische Vorgehen der Übersichtsarbeit eignet sich, um Lücken in der Forschung oder in der Wissensbasis zu einem bestimmten Thema aufzuzeigen. Die meisten Autorinnen und Autoren systematischer Übersichtsarbeiten werden Angaben dazu machen welche Richtung zukünftige Forschung einschlagen sollte. Diese Empfehlungen befinden sich meistens im Diskussionsteil des Manuskripts. Gibt es nur wenige Beweise oder ist der Stichprobenumfang, der die Effekte unterstützt gering und sind die geschätzten Effekte unpräzise, kann es notwendig sein, ähnliche Studien wie die bei der Übersichtsarbeit ermittelten Studien nochmals durchzuführen. In anderen Fällen kann es eher gerechtfertigt sein, neue Forschungsfragen zur Untersuchung des Themas zu stellen.