Bereits vor einiger Zeit hatte ich auf das Projekt COMPare des CEBM hingewiesen, bei dem ein Team um Ben Goldacre untersucht, ob in den Publikationen von Studien die Endpunkte im Vergleich zu Protokoll oder Register vollständig und unverändert berichtet werden. Bei den bisher 67 untersuchten Studien wurden durchschnittlich nur etwa zwei Drittel der Endpunkte publiziert und dafür aber jeweils fünf weitere Endpunkte stillschweigend hinzugefügt.
Richtig spannend sind aber vor allem die Reaktionen der medizinischen Fachzeitschriften, die COMPare mit den Ergebnissen konfrontiert. So wurden bisher nur 12 von 58 Leserbriefen veröffentlicht, in 33 Fällen steht es bereits fest, dass es zu keiner Publikation kommen wird.
Erwähnenswert sind auch einige Rückmeldungen der jeweiligen Journals:
- Das BMJ hat die beanstandete Studie ergänzt bzw. korrigiert.
- Der Lancet hat die Briefe des COMPare-Teams zusammen mit Antworten der jeweiligen Studien-Autoren publiziert.
- JAMA und das NEJM haben es abgelehnt, auch nur die Leserbriefe zu veröffentlichen.
- Ann Int Med hat die Methoden von COMPare kritisiert, dabei jedoch falsche Anschuldigungen gemacht und ermutigt Autoren aktiv dazu, nicht auf die Anmerkungen von COMPare zu reagieren.
Neben dieser Tatsache sind die Begründungen für die Ablehnungen in vielen Fällen nicht nur seltsam unter den Rahmenbedingungen des 21. Jahrhunderts („zu wenig Platz für die Publikation“ – sowohl für die Leserbriefe als auch der vollständigen Endpunkte), sondern teilweise auch besorgniserregend („Wir fordern von unseren Autoren die Einhaltung von CONSORT [Guideline für die Berichterstattung über RCTs] nicht zwingend ein“ oder „Wir prüfen für jede Studie individuell, welche Endpunkte berichtet werden sollen“ oder „Der Leser kann ja selbst Protokoll, Registereintrag und Publikation vergleichen“ oder „Es ist in Ordnung, wenn Protokolle erst nach dem Beginn der Studie veröffentlicht werden“).
Solche Bemerkungen sind deshalb besorgniserregend, weil sie den Standards der ICMJE widersprechen, denen die Journals angehören. Gerade den großen renommierten medizinischen Fachzeitschriften kommt eine enorme Verantwortung für die Verlässlichkeit der Berichterstattung über klinische Studien zu – wenn sie ihrer Aufgabe nicht gerecht werden, wackelt das Fundament des medizinischen Erkenntnisgewinns erheblich.
Und es geht hier nicht um Labortiere oder Zelllinien in Petrischalen, wie Ben Goldacre in einem Beitrag in Nature richtig betont:
Audit and accountability are the bread and butter of good medicine, and good science. Lives are at stake when subtle statistical signals of benefit and risk are sought in noisy, messy trial data.