Im letzten Jahr hat ein Cochrane Review Aufsehen erregt, der Nutzen und Risiken einer Therapie mit Methylphenidat bei Kindern und Jugendlichen mit ADHS untersuchte. Die Autoren schlossen in die Analyse Daten von mehr als 12.000 Teilnehmer aus 185 Studien ein. Für den Endpunkt „Bewertung durch den Lehrer“ ermittelte die Meta-Analyse einen moderaten bis großen Effekt (SMD -0,77). Eine deutsche Zusammenfassung des Reviews findet sich auf Cochrane kompakt.
Zu einem vernichtenden Urteil kommen die Autoren bei der Qualitätsbewertung: Für den beschriebenen Endpunkten werteten die Cochrane Autoren die Qualität um zwei Stufen für risk of bias und eine Stufe wegen Heterogenität/fehlender Präzision ab. Insgesamt kamen sie deshalb zu der Einschätzung, dass die Evidenz eine sehr niedrige Qualität aufweist, das Vertrauen in den Effektschätzer also sehr niedrig ist.
Heftige Kritik an dem Vorgehen des Cochrane Reviews äußerte der Psychiater Chris Hollis (Mitglied in der Leitlinienkommission der NICE guideline zu ADHS) in einem Blogbeitrag auf The Mental Elf (einem Service für Gesundheitsfachleute zur evidenzbasierten Behandlung von psychischen Erkrankung). Der Vorwurf richtet sich hauptsächlich darauf, wie in dem Cochrane Review die Regeln für die Qualitätsbewertung nach GRADE angewendet wurden. Bemängelt wird etwa die Frage, wie Interessenkonflikte (vested interest) korrekt abgebildet werden sollen und ob im konkreten Fall die Abwertung wegen Heterogenität gerechtfertigt ist. Die Autoren des Cochrane Reviews haben in den Kommentaren sehr ausführlich auf die Kritik geantwortet. Weitere Diskussionen gibt es auch in den Rapid Responses auf die Kurzfassung des Cochrane Reviews im BMJ.
Da in den Kommentaren eine Reihe von Fragen offen blieben, gab es zusätzlich in der letzten Woche eine Web-Diskussion mit einer Reihe von Beteiligten. Links zu allen Dokumenten und Slides finden sich bei The Mental Elf. David Tovey und Toby Lasserson von Cochrane wiesen darauf hin, dass GRADE unweigerlich subjektive Werturteile beinhaltet und Transparenz deshalb ungemein wichtig sei.
Die Diskussion zeigt sehr anschaulich, dass auch bei Evidenz von sehr niedriger Qualität in der Praxis Entscheidungen getroffen werden müssen. Der Hauptautor des Cochrane Reviews fasste die Take-Home-Message so zusammen:
- Bei individuellen Patienten kann Methylphenidat einen Nutzen haben.
- Für einen durchschnittlichen Patienten kann nicht sicher gesagt werden, wie groß der Nutzen tatsächlich ist.
- Wir wissen wenig über Nutzen und Risiken bei längerer Anwendung, da im Median die Behandlungsdauer in den Studien bei weniger als zwei Monaten lag und nur wenige Studien länger als sechs Monate dauerten.
- Für Aussagen mit mehr Sicherheit brauchen wir mehr Studien.
Die Diskussionsteilnehmer waren sich einig darin, dass die Medien den Cochrane Review teilweise sehr missverständlich aufgegriffen und dadurch möglicherweise Eltern, Kinder und Behandler verunsichert haben.
Nicht aufgelöst wurde die Kritik von Hollis, dass es bisher sehr unterschiedliche Herangehensweisen gebe, wie Interessenkonflikte in Cochrane Reviews im Rahmen von GRADE bewertet werden. Das scheint bei Cochrane ein aktuelles Thema zu sein – vielleicht hören wir bald dazu mehr.