JBI Checkliste für die kritische Bewertung von randomisiert kontrollierten Studien

Beurteilende Person Klicken oder tippen Sie hier, um Text einzugeben.

Datum Klicken oder tippen Sie hier, um Text einzugeben.

Autor Klicken oder tippen Sie hier, um Text einzugeben.

Jahr Klicken oder tippen Sie hier, um Text einzugeben.

Ja	Nein	Unklar	Nicht zutreffend
1. Wurde ein korrektes Randomisierungsverfahren verwendet, um die Teilnehmenden den Untersuchungsgruppen zuzuteilen?	☐	☐	☐	☐
2. War die Zuteilung zu den Untersuchungsgruppen verdeckt?	☐	☐	☐	☐
3. Waren die Untersuchungsgruppen zu Beginn der Studie vergleichbar?	☐	☐	☐	☐
4. Waren die Teilnehmenden hinsichtlich der Gruppenzuteilung verblindet?	☐	☐	☐	☐
5. Waren die betreuenden Personen hinsichtlich der Gruppenzuteilung verblindet?	☐	☐	☐	☐
6. Waren die Personen, welche die Studienergebnisse erhoben und auswerteten, hinsichtlich der Gruppenzuteilung verblindet?	☐	☐	☐	☐
7. Wurden die Untersuchungsgruppen abgesehen von der Intervention gleichbehandelt?	☐	☐	☐	☐
8. War das Follow-up vollständig und falls nicht, wurden Gruppenunterschiede beim Follow-up angemessen beschrieben und analysiert?	☐	☐	☐	☐
9. Wurden die Teilnehmenden in den Gruppen analysiert, denen sie per Randomisierung zugeteilt waren?	☐	☐	☐	☐
10. Wurden die Ergebnisse in beiden Untersuchungsgruppen auf die gleiche Weise gemessen?	☐	☐	☐	☐
11. Wurden die Ergebnisse reliabel gemessen?	☐	☐	☐	☐
12. Wurden geeignete statistische Analysen verwendet?	☐	☐	☐	☐
13. War das Studiendesign angemessen und wurden Abweichungen vom üblichen RCT Design (individuelle Randomisierung, Parallelgruppen) bei der Durchführung und Analyse begründet?	☐	☐	☐	☐

Gesamtbeurteilung:

Einschluss ☐	Ausschluss ☐	Suche nach weiteren Informationen☐

Quelle: Tufanaru C, Munn Z, Aromataris E, Campbell J, Hopp L. Chapter 3: Systematic reviews of effectiveness. In: Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI, 2020. Available from https://synthesismanual.jbi.global

Kommentare zur kritischen Bewertung von randomisiert kontrollierten Studien

Bitte zu jedem Punkt die Einschätzung in der Tabelle auf Seite 1 vornehmen, sowie eine Begründung in den Textfeldern (gelb hervorgehoben) auf den kommenden Seiten anbringen.
Die Erklärungen zu den einzelnen Punkten findest du am Ende des Dokuments.

Wurde ein korrektes Randomisierungsverfahren verwendet, um die Teilnehmenden den Untersuchungsgruppen zuzuteilen?

Klicken oder tippen Sie hier, um Text einzugeben.

War die Zuteilung zu den Untersuchungsgruppen verdeckt?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Untersuchungsgruppen zu Beginn der Studie vergleichbar?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Teilnehmenden hinsichtlich der Gruppenzuteilung verblindet?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die betreuenden Personen hinsichtlich der Gruppenzuteilung verblindet?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Personen, welche die Studienergebnisse erhoben und auswerteten, hinsichtlich der Gruppenzuteilung verblindet?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Untersuchungsgruppen abgesehen von der Intervention gleichbehandelt?

Klicken oder tippen Sie hier, um Text einzugeben.

War das Follow-up vollständig und falls nicht, wurden Gruppenunterschiede beim Follow-up angemessen beschrieben und analysiert?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Teilnehmenden in den Gruppen analysiert, denen sie per Randomisierung zugeteilt waren?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Ergebnisse in beiden Untersuchungsgruppen auf die gleiche Weise gemessen?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Ergebnisse reliabel gemessen?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden geeignete statistische Analysen verwendet?

Klicken oder tippen Sie hier, um Text einzugeben.

War das Studiendesign angemessen und wurden Abweichungen vom üblichen RCT Design (individuelle Randomisierung, Parallelgruppen) bei der Durchführung und Analyse begründet?

Klicken oder tippen Sie hier, um Text einzugeben.

Erklärungen zur kritischen Bewertung von randomisierten kontrollierten Studien

Wurde ein korrektes Randomisierungsverfahren verwendet, um die Teilnehmenden den Untersuchungsgruppen zuzuteilen?

Unterschiede zwischen den Teilnehmenden in den Untersuchungsgruppen bedrohen die interne Validität von Studien, die kausale Zusammenhänge untersuchen. Wenn Teilnehmende der Interventions- und Kontrollgruppe nicht verdeckt zugeteilt werden, besteht die Gefahr, dass die Zuteilung durch bekannte Eigenschaften der Teilnehmenden beeinflusst wird. Daraus resultierende Gruppenunterschiede können die Vergleichbarkeit der Gruppen verzerren. Eine korrekte Randomisierung von Teilnehmenden in die Untersuchungsgruppen bedeutet, dass ein Verfahren angewandt wird, in dem die Teilnehmenden rein zufällig in Gruppen eingeteilt werden, ohne ihre individuellen Eigenschaften zu berücksichtigen. Überprüfen Sie die Details des verwendeten Randomisierungsverfahrens für die Zuteilung der Teilnehmenden in ihre Untersuchungsgruppen. Wurde ein echtes Zufallsverfahren verwendet? Wurde zum Beispiel eine Liste mit Zufallszahlen verwendet? Wurde eine computer-generierte Liste mit Zufallszahlen verwendet?

War die Zuteilung zu den Untersuchungsgruppen verdeckt?

Wenn die Personen, die die Teilnehmenden den Untersuchungsgruppen zuteilen wissen, welche Gruppe im Zuteilungsverfahren als nächstes kommt, Intervention oder Kontrolle, dann besteht die Gefahr, dass sie bewusst und gezielt in die Zuteilung eingreifen, indem sie die Teilnehmenden vorzugsweise der Interventions- oder Kontrollgruppe zuteilen. Das könnte die Durchführung des randomisierten Zuteilungsverfahrens systematisch verzerren und somit die Resultate der Studie verfälschen. Die verdeckte Zuteilung bezieht sich auf Verfahren, die verhindern, dass Personen, die die Zuteilung durchführen, vor der Zuteilung wissen, ob als nächstes eine Intervention oder Kontrolle kommt. Überprüfen Sie die Vorgehensweise der verdeckten Zuteilung genau. Wurde ein geeignetes verdecktes Zuteilungsverfahren angewandt? Wurde zum Beispiel eine zentrale Randomisierung durchgeführt? Wurden sequenziell nummerierte, undurchsichtige und versiegelte Umschläge verwendet? Wurden verschlüsselt gekennzeichnete Medikamentenverpackungen verwendet?

Waren die Untersuchungsgruppen zu Beginn der Studie vergleichbar?

Unterschiede zwischen den Teilnehmenden in den Untersuchungsgruppen bedrohen die interne Validität von Studien, die kausale Zusammenhänge untersuchen. Unterschiede zwischen den Teilnehmenden in den Untersuchungsgruppen erhöhen die Gefahr eines Selektionsbias. Wenn es Gruppenunterschiede zwischen den Teilnehmenden gibt, kann der Effekt eventuell nicht auf die untersuchte Ursache (die untersuchte Intervention oder Behandlung) zurückgeführt werden. Stattdessen könnte der Effekt durch die Unterschiede der Teilnehmenden verursacht werden, das heisst durch Selektionsbias. Überprüfen Sie die Eigenschaften der Teilnehmenden. Sind die Teilnehmenden in den Untersuchungsgruppen vergleichbar, besonders in Bezug auf die Eigenschaften, die einen Effekt verursachen könnten, obwohl kein ursächlicher Zusammenhang zur untersuchten Intervention oder Behandlung vorliegt? Die Eigenschaften könnten zum Beispiel Alter, Schweregrad der Erkrankung, Stadium der Erkrankung, Begleiterkrankungen und so weiter sein. Überprüfen Sie die Verteilung der Teilnehmenden mit spezifischen relevanten Eigenschaften in den Untersuchungsgruppen. Überprüfen Sie die Mittelwerte der relevanten Messungen in den Untersuchungsgruppen (Schmerzwerte, Angstwerte, etc.). [Anmerkung: Berücksichtigen Sie NICHT nur den p-Wert für die statistische Prüfung der Gruppenunterschiede in Bezug auf die Eigenschaften zu Studienbeginn].

Waren die Teilnehmenden hinsichtlich der Gruppenzuteilung verblindet?

Sind Teilnehmende sich ihrer Zuteilung zur Interventions- oder Kontrollgruppe bewusst? Wenn ja, besteht die Gefahr, dass sie sich anders verhalten und anders auf die untersuchte Intervention oder auf die Kontrollintervention reagieren als in Situationen, in denen sie ihre Zuteilung nicht kennen. Somit könnte das Resultat verfälscht werden. Die Verblindung der Teilnehmenden wird verwendet, um dieses Risiko zu minimieren. Unter Verblindung der Teilnehmenden versteht man Verfahren, die verhindern, dass Teilnehmende wissen, welcher Gruppe sie zugeteilt sind. Bei einer Verblindung wissen die Teilnehmenden nicht, ob sie in der Gruppe sind, die die untersuchte Intervention erhält oder ob sie in der anderen Gruppe sind, die die Kontrollintervention erhält. Überprüfen Sie die im Artikel beschriebenen Angaben zur Verblindung der Teilnehmenden in Bezug auf die Gruppenzuteilung. Wurde ein angemessenes Verblindungsverfahren angewandt? Wurden zum Beispiel identische Tabletten oder Spritzen verwendet? Wurden identische Geräte verwendet?

Waren die betreuenden Personen hinsichtlich der Gruppenzuteilung verblindet?

Kennen die betreuenden Personen die Zuteilung der Teilnehmenden zur Interventionsgruppe oder zur Kontrollgruppe, besteht das Risiko, dass sie sich gegenüber den Teilnehmenden der Interventions- oder der Kontrollgruppe anders verhalten, oder dass sie sie anders behandeln, als wenn sie die Gruppenzuteilung nicht kennen. Dies kann die Durchführung der miteinander verglichenen Behandlungen beeinflussen und somit die Resultate der Studie verfälschen. Die Verblindung der betreuenden Fachpersonen wird verwendet, um dieses Risiko zu verringern. Die Verblindung der betreuenden Fachpersonen bezieht sich auf Verfahren, die verhindern, dass sie wissen, welche Gruppe sie gerade behandeln. Die Behandelnden wissen dann nicht, ob sie die Gruppe mit der untersuchten Intervention behandeln oder ob sie die Kontrollgruppe behandeln. Überprüfen Sie die im Artikel beschriebenen Angaben zur Verblindung der betreuenden Personen in Bezug auf die Behandlungszuteilung. Gibt es Informationen im Artikel über die betreuenden Fachpersonen? Kannten die betreuenden Fachpersonen die Gruppenzuteilung der Teilnehmenden oder nicht?

Waren die Personen, welche die Studienergebnisse erhoben und auswerteten, hinsichtlich der Gruppenzuteilung verblindet?

Wissen die Personen, die die Studienergebnisse auswerten, über die Zuteilung der Teilnehmenden in die Interventionsgruppe oder Kontrollgruppe Bescheid? Wenn ja, besteht das Risiko, dass sie sich gegenüber den Teilnehmenden der Interventionsgruppe und den Teilnehmenden der Kontrollgruppe anders verhalten, als wenn sie die Behandlungszuteilung nicht kennen. Daher besteht die Gefahr, dass die Ergebnismessung und somit die Studienergebnisse verzerrt sind. Um dieses Risiko zu minimieren, werden jene Personen verblindet, die die Studienergebnisse auswerten. Überprüfen Sie die Angaben im Artikel zur Verblindung der Personen, die die Studienergebnisse auswerten, in Bezug auf die Gruppenzuteilung. Gibt es irgendwelche Informationen im Artikel darüber? Kannten die Personen, die die Behandlungseffekte untersuchten, die Gruppenzuteilung der Teilnehmenden?

Wurden die Untersuchungsgruppen abgesehen von der Intervention gleichbehandelt?

Um den «Effekt» auf die «Ursache» (die untersuchte Behandlung oder Intervention) zurückführen zu können, sollte es, wenn kein Selektionsbias besteht keinen anderen Gruppenunterschied geben, als durch die manipulierte «Ursache» (die Behandlung oder Intervention, die von den Forschenden gesteuert wird). Bestehen noch weitere Expositionen oder Behandlungen zur selben Zeit, die nicht Teil der «Ursache» sind, kann der Effekt möglicherweise nicht auf die untersuchte «Ursache» zurückgeführt werden. Es könnte sein, dass der «Effekt» durch andere Expositionen oder Behandlungen erklärt werden kann, die gleichzeitig mit der «Ursache» auftreten. Überprüfen Sie die angegebenen Expositionen oder Interventionen, die von den Untersuchungsgruppen erhalten wurden. Gibt es andere Expositionen oder Behandlungen, die gleichzeitig mit der «Ursache» auftraten? Ist es möglich, dass der «Effekt» durch andere Dinge erklärt werden kann, die gleichzeitig mit der «Ursache» auftraten? Ist es klar, dass es keinen anderen Gruppenunterschied gibt in Bezug auf die Behandlung oder Betreuung, abgesehen von der untersuchten Behandlung oder Intervention?

War das Follow-up vollständig und falls nicht, wurden Gruppenunterschiede beim Follow-up angemessen beschrieben und analysiert?

In dieser Frage bezieht sich das Follow-up auf den Zeitraum von der zufälligen Zuteilung zu den Untersuchungsgruppen (Randomisierung) bis zum Ende der Studie. In dieser Frage wird abgeschätzt, ob die Messungen oder Beobachtungen für alle Teilnehmenden über die gesamte Studiendauer (von der zufälligen Zuteilung bis zum Ende der Studie) vollständig und wie geplant durchgeführt werden konnten. Falls das Follow-up unvollständig ist, das heisst unvollständige Messungen oder Beobachtungen bei Teilnehmenden, wird dies in der methodischen Literatur Studienausfall oder Drop-Out genannt (z.B. Studienausfall, Beschreibung der Gründe für den Studienausfall, Einfluss des Studienausfalls auf die Effekte etc). Unterschiede zwischen den Untersuchungsgruppen in einem RCT hinsichtlich des Studienausfalls stellen eine Bedrohung für die interne Validität randomisierter experimenteller Studien dar, in denen kausale Effekte untersucht werden sollen. Diese Unterschiede können nämlich eine mögliche alternative Erklärung für den beobachteten «Effekt» sein, auch ohne die «Ursache». Überprüfen Sie bei der Beurteilung eines RCT, ob es in Bezug auf das Nichterscheinen zur Nachuntersuchung Unterschiede zwischen den Untersuchungsgruppen gibt. Falls die Nachuntersuchung unvollständig war (das heisst, es gibt unvollständige Informationen zu Teilnehmenden), überprüfen Sie, wie mit den unvollständigen Nachuntersuchungen umgegangen wurde. Zum Beispiel sollte das Nichterscheinen bei der Nachuntersuchung beschrieben werden (absolute und relative Häufigkeit, Gründe für das Nichterscheinen zur Nachuntersuchung). Zudem ist eine Analyse notwendig, um zu untersuchen, ob das unterschiedliche Nichterscheinen eine Auswirkung auf die Resultate hatte. Gab es eine Beschreibung der unvollständigen Nachuntersuchungen (Anzahl der Teilnehmenden und die spezifischen Gründe für das Nichterscheinen zur Nachuntersuchung)? Es ist wichtig zu beachten, dass es in Bezug auf das Nichterscheinen zur Nachuntersuchung nicht ausreicht, die Anzahl der Teilnehmenden und die Verteilung der Teilnehmenden mit unvollständigen Daten zu kennen. Die Gründe für das Nichterscheinen zur Nachuntersuchung sind essenziell für die Analyse des Verzerrungsrisikos, auch wenn Anzahl und Verteilung der Teilnehmenden mit unvollständigen Daten in den Untersuchungsgruppen ähnlich oder identisch sind. Sind die Muster der Gründe für das Nichterscheinen zur Nachuntersuchung unterschiedlich (z.B., Nebenwirkungen verursacht durch die untersuchte Intervention, Verlust des Kontakts), können diese ein Verzerrungsrisiko darstellen, falls sie in der Analyse nicht angemessen untersucht und berücksichtigt werden. Falls es Gruppenunterschiede beim Nichterscheinen zur Nachuntersuchung gab (Anzahl/Verteilung und Gründe), wurden dann die Muster des Nichterscheinens zur Nachuntersuchung analysiert? Falls es Gruppenunterschiede beim Studienausfall gibt, wurden dann die Auswirkungen des Nichterscheinens zur Nachuntersuchung auf die Resultate analysiert? (Anmerkung: Frage 8 bezieht sich NICHT auf die Intention-to-Treat Analyse (ITT). Erst Frage 9 bezieht sich auf die ITT Analyse.)

Wurden die Teilnehmenden in den Gruppen analysiert, denen sie per Randomisierung zugeteilt waren?

Diese Frage bezieht sich auf die Intention-to-treat (ITT) Analyse. Es stehen verschiedene statistische Analysestrategien für die Datenauswertung von randomisierten kontrollierten Studien zur Verfügung, wie zum Beispiel die Intention-to-Treat Analyse (auch bekannt als Intent to Treat, abgekürzt als ITT), Per-Protokoll Analyse und As-treated Analyse. In der ITT Analyse werden die Teilnehmenden in den Gruppen analysiert, in die sie randomisiert wurden. Die ITT Analyse ist unabhängig davon, ob die Teilnehmenden während der gesamten Studiendauer an diesen Gruppen teilgenommen haben oder nicht, ob sie die experimentelle Intervention oder Kontrollintervention wie geplant erhalten haben oder ob sie der geplanten experimentellen Intervention oder Kontrollgruppe zustimmten. Die ITT Analyse vergleicht die Resultate für die Teilnehmenden in den Gruppen, die durch die anfängliche Randomisierung der Teilnehmenden in die Gruppen entstanden. Überprüfen Sie ob ITT berichtet wurde und überprüfen Sie die Details der ITT. Wurden die Teilnehmenden in den Gruppen analysiert, in die sie ursprünglich randomisiert worden waren, unabhängig davon, ob sie in diesen Gruppen teilnahmen und ob sie die Interventionen tatsächlich erhielten? (Anmerkung: Die ITT Analyse ist eine statistische Analyse, die in der Erklärung der Consolidated Standards of Reporting Trials [CONSORT), als Best Practices zur Berichterstattung von Studien empfohlen wird. Sie gilt als Marker für gute methodische Analysequalität der Resultate einer randomisierten Studie. Die ITT schätzt den Effekt des Interventionsangebots, also den Effekt, die Intervention zu nutzen oder durchzuführen zu können. Die ITT schätzt nicht den Effekt der eigentlich erhaltenen Intervention.]

Wurden die Ergebnisse in beiden Untersuchungsgruppen auf die gleiche Weise gemessen?

Wird das Resultat (der «Effekt») in den Untersuchungsgruppen nicht auf dieselbe Art gemessen besteht eine Gefahr für die interne Validität von Studien, die kausale Zusammenhänge untersuchen. Die Unterschiede in den Ergebnismessungen können mit dem Effekt der Behandlung (die «Ursache») verwechselt werden. Überprüfen Sie ob die Ergebnisse in beiden Gruppen auf dieselbe Weise gemessen wurden. Wurden gleiche Instrumente oder Skalen verwendet? Bestehen die gleichen Messzeitpunkte, Messmethoden und Vorgaben?

Wurden die Ergebnisse reliabel gemessen?

Unzuverlässige Ergebnismessungen in einer Studie, die Kausalzusammenhänge untersucht schwächen die Validität, da Schlussfolgerungen auf einen statistischen Zusammenhang zwischen der «Ursache» und dem Effekt beruhen. Unzuverlässige Ergebnismessungen sind eine der möglichen Erklärungen für Fehler von statistischen Schlussfolgerungen über Existenz und Grösse eines Effekts, der durch die Behandlung verursacht wurde («Ursache»). Überprüfen Sie die Details zur Zuverlässigkeit oder Reliabilität der Messung, wie zum Beispiel die Anzahl der Bewertenden, die Schulung der Bewertenden, die Intrarater-Reliabilität, und die Interrater-Reliabilität innerhalb der Studie (nicht wie in externen Quellen berichtet). Diese Frage bezieht sich auf die tatsächliche Reliabilität der in der Studie durchgeführten Messung, nicht auf die Reliabilität der in der Studie angewandten Messinstrumente/Skalen. (Anmerkung: Zwei andere wichtige Gefahren, die die Validität der Schlüsse über die statistischen Zusammenhänge zwischen der «Ursache» und dem «Effekt» schwächen, sind geringe statistische Aussagekraft und die Verletzung der Annahmen für statistische Tests. Diese anderen beiden Gefahren werden in der Frage 12 untersucht.)

Wurden geeignete statistische Analysen verwendet?

Eine unangemessene statistische Analyse kann zu Fehlern der statistischen Schlussfolgerungen führen, wenn man Existenz und Grösse eines Effekts aufgrund der Behandlung («Ursache») untersuchen will. Geringe statistische Power und die Verletzung von den Annahmen bei statistischen Tests sind zwei wichtige Gefahren, die die Validität der Schlussfolgerungen über einen möglichen statistischen Zusammenhang zwischen der «Ursache» und «Effekt» schwächen. Überprüfen Sie die folgenden Aspekte: ob die Annahmen der statistischen Tests eingehalten wurden; ob eine angemessene statistische Poweranalyse durchgeführt wurde; ob angemessene Effektgrössen verwendet wurden; ob angemessene statistische Methoden oder Verfahren verwendet wurden, wenn man Anzahl und Art der abhängigen und unabhängigen Variablen, die Anzahl Studiengruppen, die Art der Beziehung zwischen den Gruppen (unabhängig oder abhängige Gruppen) sowie die Ziele der statistischen Analyse (Zusammenhang zwischen Variablen, Prognose, Überlebensanalyse etc.) dabei in Betracht zieht.

War das Studiendesign angemessen und wurden Abweichungen vom üblichen RCT Design (individuelle Randomisierung, Parallelgruppen) bei der Durchführung und Analyse begründet?

Gewisse RCT Designs, wie zum Beispiel die Crossover RCTs, sollten nur durchgeführt werden, wenn sie angemessen sind. Alternative Designs können auch zusätzliche Verzerrungsrisiken darstellen, wenn sie im Design und der Analyse nicht berücksichtigt werden.

Crossover Studien sollten nur bei Personen mit einem chronischen, stabilen Zustand durchgeführt werden, bei denen die Intervention einen kurzfristigen Effekt hat (z.B. Symptomlinderung). Crossover Studien sollten eine angemessene Washout-Periode zwischen den Behandlungen sicherstellen.

In Cluster RCT werden Gruppen von Individuen in sogenannten «Clustern» randomisiert. Wenn wir Ergebnisse auf individueller Ebene in Cluster RCTs bewerten, muss man die sogenannte «Unit-of-Analysis» bedenken, da Einzelpersonen innerhalb eines Clusters miteinander in Beziehung stehen. Dies sollte bei der Durchführung der Analyse von den Studienautorinnen und -autoren berücksichtigt werden. Im Idealfall berichten die Autorinnen und Autoren den Intra-Cluster Korrelationskoeffizienten.

Stepped-Wedged RCTs können angemessen sein, wenn angenommen wird, dass die Intervention mehr nützt als schadet, oder aus logistischen, praktischen oder finanziellen Überlegungen bei der Einführung einer neuen Behandlung/Intervention. Die Datenanalyse in diesen Studien sollte angemessen durchgeführt werden, wobei zum Beispiel zusätzliche zeitliche Effekte zu berücksichtigen sind.