JBI Checkliste für die Bewertung von quasi-experimentellen Studien (nicht-randomisierte experimentelle Studien)

Beurteilende Person Klicken oder tippen Sie hier, um Text einzugeben.

Datum Klicken oder tippen Sie hier, um Text einzugeben.

Autor Klicken oder tippen Sie hier, um Text einzugeben.

Jahr Klicken oder tippen Sie hier, um Text einzugeben.

Ja	Nein	Unklar	Nicht zutreffend
Wird es in der Studie klar, was die «Ursache1» und was der «Effekt2» ist (das heisst, es gibt keine Verwirrung darüber, welche Variabel zuerst kommt?)	☐	☐	☐	☐
Waren die Teilnehmenden, die in die Vergleiche eingeschlossen wurden, ähnlich?	☐	☐	☐	☐
Waren die Teilnehmenden in den Vergleichen ähnlich in Bezug auf die erhaltene Behandlung/ Betreuung abgesehen von der Exposition oder der Intervention von Interesse?	☐	☐	☐	☐
Gab es eine Kontrollgruppe?	☐	☐	☐	☐
Gab es mehrere Ergebnismessungen sowohl vor als auch nach der Intervention/Exposition?	☐	☐	☐	☐
War das Follow-up vollständig und falls nicht, wurden Unterschiede zwischen den Gruppen in Bezug auf das Follow-up angemessen beschrieben und untersucht?	☐	☐	☐	☐
Wurden die Ergebnisse der Teilnehmenden, die jeweils bei den Vergleichen eingeschlossen wurden, auf dieselbe Weise gemessen?	☐	☐	☐	☐
Wurden die Ergebnisse reliabel gemessen?	☐	☐	☐	☐
Wurden geeignete statistische Analysen verwendet?	☐	☐	☐	☐

Gesamtbeurteilung:

Einschluss ☐	Ausschluss ☐	Suche nach weiteren Informationen☐

Quelle: Tufanaru C, Munn Z, Aromataris E, Campbell J, Hopp L. Chapter 3: Systematic reviews of effectiveness. In: Aromataris E, Munn Z (Editors). JBI Manual for Evidence Synthesis. JBI, 2020. Available from https://synthesismanual.jbi.global

Kommentare zur Bewertung von quasi-experimentellen Studien (d.h., experimentelle Studien ohne Randomisierungsverfahren)

Bitte zu jedem Punkt die Einschätzung in der Tabelle auf Seite 1 vornehmen, sowie eine Begründung in den Textfeldern (gelb hervorgehoben) auf den kommenden Seiten anbringen.
Die Erklärungen zu den einzelnen Punkten findest du am Ende des Dokuments.

Ist es klar was in der Studie die «Ursache» und was der «Effekt» ist (das heisst es gibt keine Verwirrung darüber welche Variabel zuerst kommt?)

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Teilnehmenden, die in die Vergleiche eingeschlossen wurden, ähnlich?

Klicken oder tippen Sie hier, um Text einzugeben.

Waren die Teilnehmenden in den Vergleichen ähnlich in Bezug auf die erhaltene Behandlung/ Betreuung abgesehen von der Exposition oder der Intervention von Interesse?

Klicken oder tippen Sie hier, um Text einzugeben.

Gab es eine Kontrollgruppe?

Klicken oder tippen Sie hier, um Text einzugeben.

Gab es mehrere Ergebnismessungen sowohl vor als auch nach der Intervention/Exposition?

Klicken oder tippen Sie hier, um Text einzugeben.

War das Follow up vollständig und falls nicht, wurden Unterschiede zwischen den Gruppen in Bezug auf das Follow-up angemessen beschrieben und untersucht?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Ergebnisse der Teilnehmenden, die jeweils bei den Vergleichen eingeschlossen wurden, auf dieselbe Weise gemessen?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden die Ergebnisse reliabel gemessen?

Klicken oder tippen Sie hier, um Text einzugeben.

Wurden geeignete statistische Analysen verwendet?

Klicken oder tippen Sie hier, um Text einzugeben.

Erläuterungen zur Bewertung von quasi-experimentellen Studien (d.h., experimentelle Studien ohne Randomisierungsverfahren)

Ist es klar was in der Studie die «Ursache» und was der «Effekt» ist (das heisst es gibt keine Verwirrung darüber welche Variabel zuerst kommt?)

Die interne Validität einer Studie, die kausale Zusammenhänge untersucht, ist gefährdet, wenn die Variablen nicht in einem eindeutigen zeitlichen Zusammenhang stehen. Die «Ursache» zeitlich vor dem untersuchten «Effekt» auftreten. Überprüfen Sie, ob es klar ist, welche Variable als mögliche Ursache manipuliert wurde. Überprüfen Sie, welche Variable als Effekt der möglichen Ursache gemessen wurde. Ist es eindeutig, dass die «Ursache» vor dem Auftreten des «Effekts» manipuliert wurde?

Waren die Teilnehmenden, die in die Vergleiche eingeschlossen wurden, ähnlich?

Die interne Validität einer Studie, die kausale Zusammenhänge untersucht, wird durch Unterschiede zwischen den Teilnehmenden in den Vergleichsgruppen gefährdet. Falls es Unterschiede zwischen den Teilnehmenden in den Vergleichsgruppen gibt, besteht das Risiko eines Selektionsbias. Falls es Unterschiede zwischen den eingeschlossenen Teilnehmenden in den Vergleichsgruppen gibt, kann vielleicht der «Effekt» nicht auf die mögliche «Ursache» zurückgeführt werden. In diesem Fall könnte der «Effekt» vielleicht durch die Unterschiede zwischen den Teilnehmenden, das heisst durch Selektionsbias, erklärt werden. Überprüfen Sie die beschriebenen Charakteristika der Teilnehmenden. Sind die Teilnehmenden der zu vergleichenden Gruppen ähnlich in Bezug auf Charakteristika die vielleicht den «Effekt» auch ohne die «Ursache» erklären könnten, z.B. Alter, Schwere der Krankheit, Krankheitsstadium oder Komorbiditäten? Anmerkung: In einer Einzelgruppen-Pre-Test-Post-Test Design, in der die Patienten und Patientinnen in den Pre- und Post-Vergleichen dieselben sind (dieselbe Gruppe), sollte die Antwort auf diese Frage «ja» sein.

Waren die Teilnehmenden in den Vergleichen ähnlich in Bezug auf die erhaltene Behandlung/ Betreuung abgesehen von der Exposition oder der Intervention von Interesse?

Um den “Effekt2» der “Ursache1» zuzuweisen, sollte es unter der Voraussetzung, dass es keinen Selektionsbias gibt, keine weiteren Unterschiede zwischen den Gruppen bei der erhaltenen Behandlung oder Betreuung geben, abgesehen von der manipulierten «Ursache1». Bestehen neben der Intervention von Interesse noch andere Expositionen oder Behandlungen zur gleichen Zeit, kann der «Effekt2» möglicherweise nicht der Intervention von Interesse zugeordnet werden. In diesem Fall ist es möglich, dass der «Effekt» durch andere Expositionen oder Behandlungen erklärt werden kann, die zur selben Zeit wie die Intervention von Interesse auftraten. Überprüfen Sie die angegebenen Expositionen oder erhaltenen Interventionen der Vergleichsgruppen. Gibt es andere Expositionen oder Behandlungen, die in derselben Zeit wie die Intervention von Interesse auftraten? Kann der «Effekt» durch andere Expositionen oder Behandlungen erklärt werden, die zur gleichen Zeit wie die Intervention von Interesse auftraten?

Gab es eine Kontrollgruppe?

Kontrollgruppen bieten die Voraussetzungen, zu untersuchen was mit Gruppen passiert wäre, die anderen Behandlungen ausgesetzt waren, die nicht der möglichen «Ursache1» entsprechen. Der Vergleich der behandelten Gruppe (die Gruppe, die der untersuchten «Ursache» ausgesetzt war, die Gruppe, die die Intervention von Interesse erhält) mit solchen anderen Gruppen, stärkt die Plausibilität der kausalen Untersuchung. Die Validität der kausalen Schlussfolgerungen wird in Studien mit mindestens einer unabhängigen Kontrollgruppe gestärkt, im Vergleich zu Studien ohne unabhängige Kontrollgruppe. Überprüfen Sie, ob es unabhängige, separate Gruppen gibt, die in der Studie als Kontrollgruppe dienten. Anmerkung: Die Kontrollgruppe sollte eine unabhängige, separate Kontrollgruppe darstellen und nicht die Pre-Test-Gruppe in einem Einzelgruppen-Pre-Test-Post-Test Design.

Gab es mehrere Ergebnismessungen sowohl vor als auch nach der Intervention/Exposition?

Um zu zeigen, dass das Ergebnis (der «Effekt2») sich durch die Intervention/Behandlung (die «Ursache1») verändert hat, ist es notwendig die Messergebnisse vor und nach der Intervention/Behandlung zu vergleichen. Erfolgte keine Messung vor der Behandlung und nur eine Messung nach der Behandlung, ist nicht bekannt, ob es nach der Behandlung eine Veränderung im Vergleich zu vor der Behandlung gibt. Werden vor der Intervention/Behandlung mehrere Messungen gesammelt, ist es möglich die Plausibilität von anderen Erklärungen für den beobachteten «Effekt2» als die angenommene «Ursache1» zu untersuchen. Dies können z.B. natürlich auftretende Veränderungen in Abwesenheit der «Ursache» sein, aber auch Veränderungen von hohen (oder tiefen) Werten die sich weniger extremen Werten annähern, auch wenn die «Ursache1» nicht vorliegt (manchmal als «Regression zum Mittelwert» bezeichnet). Werden nach der Intervention/Behandlung mehrere Messungen durchgeführt, ist es möglich, die zeitlichen Veränderungen des «Effekts2» in jeder Gruppe zu untersuchen und die Veränderungen zwischen den Gruppen zu vergleichen. Überprüfen Sie, ob die Messungen vor der Durchführung der Intervention gesammelt wurden. Gab es mehrere Pre-Test Messungen? Überprüfen Sie, ob die Messungen nach der Durchführung der Intervention gesammelt wurden. Gab es mehrere Post-Test Messungen?

War das Follow up vollständig und falls nicht, wurden Unterschiede zwischen den Gruppen in Bezug auf das Follow-up angemessen beschrieben und untersucht?

Wenn es Unterschiede zwischen den verglichenen Gruppen beim Nichterscheinen zum Follow-up gibt, stellen diese Unterschiede eine Bedrohung für die interne Validität einer Studie dar, in der kausale Auswirkungen untersucht werden. In diesem Fall könnten diese Unterschiede eine alternative Erklärung für den beobachteten «Effekt2» liefern, selbst wenn die «Ursache1» nicht vorliegt. Überprüfen Sie, ob Unterschiede zwischen den Vergleichsgruppen beim Nichterscheinen zum Follow-up bestehen. Falls das Follow-up unvollständig war (das heisst es liegen unvollständige Informationen über Teilnehmende vor), betrachten Sie die beschriebenen Details zu den verwendeten Strategien, um das unvollständige Follow-up anzugehen. Solche Details beinhalten z.B. Beschreibungen des Nichterscheinens zum Follow-up (absolute Zahlen, Proportionen, Gründe für das Nichterscheinen zum Follow-up, Muster für das Nichterscheinen zum Follow-up) und eine Analyse der Auswirkungen des Nichterscheinens zum Follow-up auf die Ergebnisse. Gab es eine Beschreibung über das unvollständige Follow-up (Anzahl der Teilnehmenden und spezifische Gründe für das Nichterscheinen zum Follow-up)? Gab es eine Analyse zu den Mustern des Nichterscheinens zum Follow-up, wenn Unterschiede zwischen den Gruppen bezüglich des Nichterscheinens bestanden? Gab es eine Analyse der Auswirkungen des Nichterscheinens zum Follow-up auf die Ergebnisse, wenn Unterschiede zwischen den Gruppen bezüglich des Nichterscheinens bestanden?

Wurden die Ergebnisse der Teilnehmenden, die jeweils bei den Vergleichen eingeschlossen wurden, auf dieselbe Weise gemessen?

Wird das Ergebnis (der “Effekt2») in den Vergleichsgruppen nicht auf dieselbe Weise gemessen, ist die interne Validität einer Studie gefährdet, die einen kausalen Zusammenhang untersucht. In diesem Fall könnten die Unterschiede in den Ergebnismessungen mit dem Behandlungs- oder Interventionseffekt (mit der «Ursache») verwechselt werden. Überprüfen Sie, ob die Ergebnisse auf dieselbe Weise gemessen wurden. Wurde dasselbe Instrumente oder dieselbe Skala verwendet? War es der gleiche Messzeitpunkt? Erfolgten die gleichen Messverfahren und Anweisungen?

Wurden die Ergebnisse reliabel gemessen?

Wenn Ergebnismessungen nicht reliabel sind, bedroht dies die Validität der Rückschlüsse auf statistische Zusammenhänge zwischen «Ursache» und «Effekt» in einer Studie, die kausale Effekte untersucht. Wenn Ergebnismessungen nicht reliabel sind, ist dies eine von mehreren möglichen Erklärungen für Fehler bei statistischen Rückschlüssen auf Existenz und Ausmass des durch die Behandlung («Ursache») bestimmten Effekts. Überprüfen Sie die Details über die Reliabilität der Messung, wie z.B. die Anzahl der Bewertenden, die Schulung der Bewertenden, die Intra-Rater-Reliabilität und die Inter-Rater-Reliabilität innerhalb der Studie (nicht gegenüber externen Quellen). Bei dieser Frage geht es um die Reliabilität der in der Studie durchgeführten Messung. Es geht nicht um die Validität der in der Studie verwendeten Messinstrumente/Skalen. Anmerkung: Zwei weitere wichtige Gefahren, die die Validität von Rückschlüssen auf statistische Zusammenhänge zwischen «Ursache» und «Effekt» schwächen, sind eine geringe statistische Power und die Verletzung der Annahmen statistischer Tests. Diese anderen Gefahren werden unter Frage 8 nicht weiter untersucht, sondern unter Frage 9.

Wurden geeignete statistische Analysen verwendet?

Eine unzureichende statistische Analyse kann zu Fehlern bei den Schlussfolgerungen hinsichtlich der Existenz und des Ausmasses des durch die Behandlung («Ursache») bedingten Effekts führen. Eine geringe statistische Power und die Verletzung der Annahmen statistischer Tests, sind zwei wichtige Gefahren, die die Validität von Schlussfolgerungen auf statistische Zusammenhänge zwischen «Ursache» und «Effekt» schwächen. Überprüfen Sie die folgenden Aspekte: Wurden die Annahmen der statistischen Tests eingehalten? Wurden angemessene statistische Poweranalysen durchgeführt? Wurden angemessene Effektgrössen verwendet? Wurden angemessene statistische Verfahren oder Methoden verwendet angesichts der Anzahl und Art der abhängigen und unabhängigen Variablen, der Anzahl der Studiengruppen, der Art der Beziehung zwischen den Gruppen (unabhängige oder abhängige Gruppen) und der Ziele der statistischen Analyse (Zusammenhang zwischen den Variablen, Prognose, Überlebensanalyse etc).

Ursache: die unabhängige Variable, das heisst die Behandlung oder Intervention von Interesse

Effekt: die abhängige Variable, das heisst das Ergebnis von Interesse