Bei meinen Seminaren geht es häufig um die kritische Bewertung von Studien. Und eine Grundregel lautet: Alle Studienarten kritisch bewerten – auch wenn systematischer Review und auch wenn Cochrane draufsteht. Warum das nötigt ist, illustriert auch eine Untersuchung, die vor einiger Zeit in PLOS Medicine erschienen ist.
Die Autoren haben systematische Reviews unter die Lupe genommen, die im Februar 2014 in Medline indiziert wurden. Dabei haben sie untersucht, welche Eigenschaften diese Reviews haben, die auch das Verzerrungspotential betreffen. Hier ein paar interessante Ergebnisse zu den 164 Reviews (45 Cochrane, 119 non-Cochrane) zu therapeutischen Interventionen:
- Ein vorab festgelegtes und veröffentlichtes Protokoll gab es bei 98 Prozent der Cochrane Reviews, aber nur bei 22% der Non-Cochrane Reviews
- Mehr als ein Viertel der Non-Cochrane Reviews beschränkte sich auf publizierte Studien, bei Cochrane Reviews nur vier Prozent.
- 98 Prozent der Cochrane Reviews hatten die Suche vollständig dokumentiert, gegenüber 34 Prozent bei den Non-Cochrane Reviews.
- Alle Cochrane Reviews bewerteten das Verzerrungspotential der eingeschlossenen Studien, bei den Non-Cochrane Reviews nur drei von vier.
- Das Problem Publikationsbias thematisierten 78 Prozent der Cochrane Reviews, aber nur 38 Prozent der Non-Cochrane Reviews.
Mehr Details finden sich im Volltext der Studie (open access).
Diese Beispiele zeigen: Im Bereich von systematischen Reviews gibt es noch eine Menge zu tun. Auch wenn Cochrane Reviews fast durchgehend besser abschnitten als die Reviews aus anderen Autorengruppen, ist es im Einzelfall doch sinnvoll, jeden systematischen Review kritisch zu betrachten.
Eine kurze Checkliste dazu habe ich schon früher in meinem Blog veröffentlicht. Und wer tiefer in das Thema einsteigen will, findet viele Details in meiner aktuellen Podcast-Themenreihe.
Page MJ, Shamseer L, Altman DG, Tetzlaff J, Sampson M, Tricco AC, et al. (2016) Epidemiology and Reporting Characteristics of Systematic Reviews of Biomedical Research: A Cross-Sectional Study. PLoS Med 13(5): e1002028. doi:10.1371/journal.pmed.1002028