Die Stufenpyramide. Warum man Experten misstrauen sollte
Ein Standpunkt von Anke Behrend.
Spätestens seit 2020 allerlei teils dubiose Maßnahmen gegen ein Atemwegsvirus verhängt worden waren, beispielsweise, dass man einen See nur im Uhrzeigersinn umrunden durfte (1), drängt sich ein Begriff vehement in den Sprachgebrauch: Die Evidenz. Doch was ist das eigentlich?
Unter Evidenz versteht man die Triftigkeit und Gültigkeit der Nachweise für eine These. Also das, was vor Gericht als Beweis gelten würde und eine Behauptung oder Vermutung unterscheidet von gesichertem Wissen beziehungsweise einer Theorie. Zu beachten ist hier, dass die Theorie im wissenschaftlichen Kontext – anders als im umgangssprachlichen Gebrauch – das am besten abgesicherte aber nicht unumstößliche Wissen darstellt. Die Evidenz beschreibt also die Qualität einer Aussage bezüglich ihrer Gültigkeit in der Realität. Für die Beurteilung von Evidenzen gibt es eine stark vereinfachte Einteilung in mehreren Stufen, die sich pyramidenförmig darstellen lassen (2). Diese Stufen stellen eine erste grobe Orientierung dar, um die Belastbarkeit einer Aussage, Studie oder Behauptung einzuordnen. Ganz unten in der Evidenz-Pyramide, auf einer Stufe mit Gutachten und wissenschaftlichen Artikeln stehen – und das wird sicher so manchen überraschen – die allseits geschätzten …
Expertenmeinungen.
Trotz dieser niedrigen Position in der Evidenz-Pyramide erfreuen sich Experten größter Beliebtheit. Manche erreichen beinahe den unantastbaren Status eines Gurus und dürfen in den entsprechenden Kreisen nicht hinterfragt werden.
Selbstverständlich kann eine Expertenmeinung den aktuellen Stand des Wissens widerspiegeln, sofern der Experte sich auf den Goldstandard bezieht, zu finden auf den oberen Treppchen der Pyramide. Allerdings, und auch das ist eine wichtige Lehre aus den vergangenen Jahren, findet sich für nahezu jede These und sei sie noch so abwegig, ein Experte, der sie mit Verve und heiligem Ernst verkündet nebst einer Gemeinde, die den Offenbarungen andächtig lauscht.
Kaum einer der sich oft fundamental widersprechenden Experten würde einräumen, bewusst und mit Vorsatz zu lügen. Auch wenn seine jeweiligen Gegenspieler das gern annehmen und unterstellen. Im Unterschied zu methodisch erhobenen Daten sind die Sicht und Meinungen von Experten subjektiv. Sie kommen nicht ausschließlich durch bloße Fachkompetenz zustande, sondern sind geprägt von Wahrnehmungsverzerrungen, Glaubenssätzen, Weltanschauungen, Erwartungen oder anderweitigen, nicht selten monetären Interessen. Überdies ist das Wissen eines Forschungsfeldes mittlerweile so umfangreich und mit angrenzenden Disziplinen vernetzt, dass kein Experte einen ausreichend fundierten Überblick haben kann, um allein mit seiner Einzelmeinung eine generell hohe Evidenz zu erreichen.
Dem jeweiligen Publikum bleibt nichts anderes übrig, als denjenigen Experten zu glauben, die als Kapazitäten ihres Faches durch die bevorzugten Medien tingeln. Macht man sich allerdings die Mühe, selbst zu recherchieren, ob außer dem Glanz der Eminenz auch Evidenz vorhanden ist, kann es vorkommen, dass die Reputation des Experten verblasst. Sei es, weil er lediglich eine Honorar- oder Stiftungsprofessur an einer privaten Einrichtung innehat, in dem Fach, über das er sich äußert, gar nicht tätig war oder ist, oder seine Publikationen sich lediglich auf Sachbuch-Niveau bewegen und von der Fachwelt aus guten Gründen ignoriert werden (3).
Um die Evidenz von wissenschaftlich anmutenden Artikeln ist es oft nicht besser bestellt. Häufig werden …
Einzelfallbeobachtungen
geschildert und mit dem Anschein von Evidenz präsentiert, der ihnen nicht zukommt. Denn Einzelfallanalysen stehen nur auf der zweiten Stufe der Evidenz-Pyramide. Auf einigen Darstellungen befinden sich dort auch Studien ohne Vergleichsgruppe. In beiden Fällen ist keine Objektivität und kaum Übertragbarkeit der Ergebnisse gegeben. Somit hat der Einzelfall mit seiner anekdotischen Evidenz eher informellen Charakter oder es handelt sich sogar nur um Hörensagen.
Ganz ähnlich verhält es sich übrigens vor Gericht: Die Aussage eines Augenzeugen gilt als eher schwacher Beweis, da menschliche Erinnerungen trügerisch und durch Wahrnehmungsverzerrungen beeinflusst sind (4). Einzelfallbeobachtungen oder Fallserien sind meist nicht reproduzierbar und verfälschende Einflussfaktoren auf die Beobachtung können nicht methodisch sauber ausgeschlossen werden. Berühmt-berüchtigte Einzelfälle mit lediglich anekdotischer Evidenz sind beispielsweise der Fall Bruce (David) Reimer von 1967, der trotz des völligen Fehlens von wissenschaftlicher Methodik und allgemein gültiger Evidenz als vermeintlicher Ursprung der Gendertheorie (5) seit Jahrzehnten herumgereicht wird. Wahr daran ist lediglich, dass der ausführende Mediziner, Dr. John Money, die Gender Identity Clinic am Johns Hopkins University Medical Centre in Baltimore gründete (6). Die Unterscheidung zwischen dem biologischen Geschlecht „Sex“ und dem sozial stark beeinflussbaren Gender hatte bereits im Jahr 1949 Simone de Boudoir in ihrem Buch „Das andere Geschlecht“ getroffen.
Auch beim Chinarinde-Selbstversuch (1790) von Samuel Hahnemann handelte es sich um ein nicht reproduzierbares Zufallsergebnis (7). Dennoch wird es häufig als Schlüsselexperiment für die gesamte Homöopathie genannt. Und wer kennt nicht die längst widerlegte Legende vom eisenhaltigen Spinat.
Ähnlich problematisch steht es um die Evidenz von Befragungsstudien, wenn sie nur eine sehr geringe Anzahl an Teilnehmern und keine Kontrollgruppe aufweisen. Oft werden derartige Studien zu reinen Marketingzwecken im Bereich Ernährung, Kosmetik oder Nahrungsergänzung durchgeführt, von den Herstellern der betreffenden Produkte finanziert und in die entsprechenden Medien gedrückt.
Gefährlich werden Studien mit niedriger Evidenz aber vor allem im Bereich der Medizin. Ob Medikamentenentwicklung, Operationsmethoden oder Medizinprodukte, es lassen sich etliche Beispiele für Forschung ohne Evidenz, Betrug und Skandale finden. Contergan, Siliconimplantate, Lobotomie oder der kürzlich in der Welt aufgedeckte Skandal um den Herzchirurgen Francesco Maisano, der mit einem neuartigen Implantat, dem sogenannten „Cardioband“ zu einem Superstar der Herzchirurgie hochgejubelt wurde, in Zürich allerdings für 150 Tote verantwortlich sein soll, weil seine Entwicklung fehlerhaft und die Probleme vertuscht worden waren (8).
Die niedrige Evidenz von Expertenmeinungen, Einzelfällen und Fallserien bedeutet allerdings nicht automatisch, dass sie generell zu vernachlässigen sind. Aber sie sind weniger evident, wenig oder gar nicht um menschliche oder methodische Verzerrungen bereinigt und schneiden im Vergleich mit den höheren Stufen der Evidenz-Pyramide schlecht ab, denn wissenschaftliche Erkenntnisse müssen zwingend nach überprüfbaren wissenschaftlichen Kriterien erworben werden und sich der Prüfung durch die wissenschaftliche Community stellen – dazu gehört nicht nur die Peer Review wissenschaftlicher Fachjournale. Auch Kollegen und Konkurrenten diskutieren wissenschaftliche Arbeiten. Allerdings findet der wissenschaftliche Diskurs nicht in Talkshows statt.
Warum verfangen Einzelfälle und Expertenmeinungen dennoch so gut beim Publikum? Menschen neigen dazu, sich mit starken Persönlichkeiten, Vorbildern, Stars, Helden und Autoritäten zu identifizieren. Ein Erfahrungsbericht oder ein persönliches Statement ist emotional und oft leichter zu verstehen als abstrakte Statistiken oder komplizierte Studien, die oft eine Unmenge an Hintergrundwissen verlangen, die das Publikum naturgemäß nicht hat. Dies gilt in der Politik ebenso wie in der Wissenschaft. Experten, Politiker aber auch Kulturschaffende oder Sportler vermitteln Autorität und strahlen Kompetenz aus. Ist ein Experte nicht nur sympathisch und souverän im Auftreten, sondern bestätigt, was man ohnehin schon glaubt und ist in der eigenen Gruppe beliebt (9), treten Vorbehalte und kritisches Denken in den Hintergrund. Und so paradox es klingen mag: Menschen, die sich selbst für wenig autoritätshörig halten, verehren ihre Idole oft umso mehr (10).
Selbstverständlich gibt es auch positive Beispiele für zufällige Entdeckungen aus Einzelfällen oder Fallserien: Alexander Fleming fand 1928 das Penicillin auf Grund einer zufälligen Beobachtung (11). Und bereits in den 1860er Jahren bemerkte der Arzt William Murrell (12) die lindernde Wirkungen von Nitroglycerin auf Angina Pectoris. Es wird noch heute gegen Herzbeschwerden eingesetzt (13). Viele bahnbrechende Entdeckungen beginnen mit der Beobachtung eines Einzelfalles oder einer Fallserie, die dann zu weiterer Forschung unter kontrollierten Bedingungen Anlass gibt und zur nächsten Stufe der Evidenz-Pyramide führt, den …
Fall-Kontroll-Studien (14).
Sie stehen auf der Evidenz-Pyramide auf der dritten Stufe und sind immer noch als niedrig zu bewerten.
Fall-Kontroll-Studien sind eine Methode, um mögliche Verbindungen zwischen Risikofaktoren und bestimmten Krankheiten herauszufinden. Dabei vergleicht man zwei Gruppen: eine Gruppe, die bereits erkrankt ist, den „Fall“, und eine Gruppe ohne diese Krankheit, die „Kontrollgruppe“. Ziel ist es, zu sehen, ob bestimmte Einflüsse häufiger bei den Erkrankten auftreten, um mögliche Risikofaktoren zu identifizieren.
Ein großer Vorteil von Fall-Kontroll-Studien liegt in ihrer Effizienz. Sie sind relativ schnell und kostengünstig durchzuführen. Zudem sind sie geeignet, um erste Hypothesen zu entwickeln, die später genauer untersucht werden können. Eine bahnbrechende Fall-Kontroll-Studie führte in den 1950er Jahren zur der Erkenntnis, dass zwischen Rauchen und Lungenkrebs ein Zusammenhang besteht, der in vorhergehenden Studien der Tabakindustrie abgestritten worden war.
Allerdings haben Fall-Kontroll-Studien auch deutliche Nachteile. Da die Daten im Nachhinein erhoben werden, besteht die Gefahr von Verzerrungen – insbesondere dem Erinnerungs-Bias, da die Probanden oft rückblickend berichten müssen, welchen Einflüssen sie ausgesetzt waren. Außerdem können diese Studien keine Kausalität beweisen, sondern nur mögliche Zusammenhänge aufzeigen. Die fehlende Zufallsverteilung (Randomisierung) und Verblindung sowie oft eingeschränkte Vergleichsmöglichkeiten verringern die Aussagekraft zusätzlich.
Um mehr Evidenz zu generieren, sind also bessere Methoden vonnöten. Randomisierung und Verblindung sind Möglichkeiten, die sich auf den höheren Stufen der Evidenz-Pyramide finden lassen. Auf der Stufe direkt oberhalb der Fall-Kontroll-Studien befinden sich mit einer deutlich größeren Anzahl an Teilnehmern allerdings zunächst die …
Kohortenstudien (15).
Kohortenstudien sind eine Beobachtungsmethode, bei der eine Gruppe von Personen über einen längeren Zeitraum hinweg beobachtet wird. Eine Kohorte wird in zu vergleichende Untergruppen unterteilt oder mit anderen Kohorten verglichen, die entweder einem bestimmten Einfluss ausgesetzt ist oder nicht. Im Laufe der Zeit wird die unterschiedliche Entwicklung der Gruppen bzw. Kohorten beobachtet.
Nachteile von Kohortenstudien sind die langen Beobachtungszeiträume, die oft hohen Kosten und der organisatorische Aufwand. Außerdem besteht das Risiko, dass Teilnehmer abspringen, was zu Verzerrungen führen kann. Trotz dieser Herausforderungen bieten Kohortenstudien eine solide Grundlage, um fundierte Erkenntnisse über die Zusammenhänge zwischen Risikofaktoren und Krankheiten zu gewinnen und sind besonders geeignet, um Erkenntnisse über Lebensführung oder den Einfluss von Umweltfaktoren zu generieren.
Ein bekanntes Beispiel für eine Kohortenstudie ist die Framingham-Herzstudie, die seit 1948 läuft und wesentlich dazu beigetragen hat, unser Wissen über Risikofaktoren für Herz-Kreislauf-Erkrankungen zu erweitern. (16)
Ein weiteres Beispiel für eine Kohortenstudie ist die „Alzheimer’s Disease Neuroimaging Initiative“ (ADNI) (17). Diese Studie untersucht seit 2004 Menschen, die entweder ein erhöhtes Risiko für Alzheimer haben oder bereits an leichten kognitiven Beeinträchtigungen leiden. Ziel ist es, Biomarker zu identifizieren, die frühzeitig auf Alzheimer hinweisen könnten und den Verlauf der Krankheit besser zu verstehen. Fundierte Erkenntnisse über langsam fortschreitende Erkrankungen wie Alzheimer lassen sich durch Beobachtung über einen längeren Zeitraum feststellen. Das passiert nicht nur mittels Kohortenstudien, sondern auch über …
Randomisiert-kontrollierte Studien (17).
Diese RCTs (randomized controlled Studies) erstrecken sich oft über mehre Jahre und sind randomisiert und verblindet. Das heißt, die Probanden sind nach dem Zufallsprinzip ausgewählt, es gibt eine Kontrollgruppe, die statt der Behandlung ein Placebo bekommt, und keiner der Beteiligten weiß, wer welcher dieser Gruppen angehört. RCTs sind der Goldstandard, um die Wirksamkeit und Sicherheit medizinischer Interventionen zu testen, da sie eine möglichst objektive Bewertung ermöglichen. Bekannte Beispiele für randomisiert-kontrollierte Studien sind unter anderem eine Studie zur Behandlung von COVID-19 mit Dexamethason, einem Nebennierenrindenhormon aus der Gruppe der Glukokortikoide, zu der auch Kortison gehört. Diese Studie bestätigte Dexamethason als wirksames Mittel zur Senkung der Sterblichkeitsrate bei schwer erkrankten COVID-19-Patienten und war maßgeblich an der Entwicklung therapeutischer Richtlinien beteiligt (18).
Ein weiteres recht bekanntes Beispiel ist die „Heart Protection Study“ (HPS), die zwischen 1994 und 1997 mit 20.536 Patienten mit einem erhöhten Risiko für Gefäßerkrankungen in 69 Kliniken in Großbritannien randomisiert durchführt wurde. Die Patienten wurden durchschnittlich fünf Jahre während der klinischen Behandlung beobachtet und ihre Entwicklung weitere fünf Jahre mittels Fragebogen verfolgt. Die Studie ergab unter anderem, dass die tägliche Gabe von 40 mg des untersuchten Medikaments Simvastatin das Sterberisiko um 13 Prozent senkte (19).
Um noch genauere Daten zu weiteren Wirkungen und Nebenwirkungen erheben zu können, wurde 1994 die „Cholesterol Treatment Trialists (CTT) Collaboration“ gegründet (20). Das Ziel der Collaboration ist es, umfassende Daten zu unerwünschten und erwünschten Ereignissen im Zusammenhang mit der Statintherapie zu sammeln und zusammenzufassen in …
Metaanalysen (21),
dem Goldstandard wissenschaftlicher Datenerhebung. Die Metaanalyse ist eine statistische Methode, bei der die Ergebnisse mehrerer unabhängiger Studien zu einem bestimmten Thema zusammengefasst werden. Sie ermöglicht eine umfassendere und präzisere Bewertung, indem sie die gesamte verfügbare Evidenz kombiniert, um zu einem Gesamturteil über die Wirksamkeit oder das Risiko einer Behandlung oder eines Einflussfaktors zu gelangen.
Mittlerweile wuchs die Anzahl der eingeschlossenen Studien der „Cholesterol Treatment Trialists Collaboration“ auf etwa 175.000 Studienteilnehmer und führte zu einer Reihe von Veröffentlichen. Unter anderem zeigte eine Studie aus 2022, dass 90 Prozent der Muskelschmerzen, über die Statin-Anwender klagen, nicht durch die Einnahme von Statinen verursacht werden (22). Im März 2024 fand eine Studie einen Zusammenhang zwischen Statinen und einem leichten Blutzuckeranstieg, so dass Menschen mit hohem Risiko früher an Diabetes erkranken könnten (23).
Jüngstes und bekanntestes Beispiel für eine Metaanalyse dürfte die umstrittene Auswertung von 78 RCTs der Cochrane Collaboration zur Wirksamkeit von Masken auf die Ausbreitung von Atemswegsviren gewesen sein (24). Die Autoren stellten fest, dass das Risiko der Voreingenommenheit für die einbezogenen RCTs und Cluster-RCTs überwiegend hoch oder unklar war. Sie kommen zu dem Schluss, dass das Tragen von Masken im Alltag wahrscheinlich wenig oder keinen Unterschied macht bei der Ausbreitung einer grippeähnlichen Erkrankung. FFP2 Masken könnten im Vergleich zu chirurgischen Masken wirksamer sein, allerdings ist die Beweiskraft der Daten begrenzt. Ihr Fazit: Es herrscht Ungewissheit über die Wirkungen von Gesichtsmasken.
Modellierungsstudien
… kommen in der Evidenz-Pyramide übrigens gar nicht vor.
Christian Drosten erklärt seine Bedenken wir folgt:
„Also, ich habe immer meine Reserviertheiten gegen solche Modellierungen, weil, (…) immer grobe Annahmen getroffen werden. Also man hat da ein hoch diffiziles System, aber irgendwo ist dann plötzlich eine ganz grobe Schraube dran, und irgendjemand kommt einfach und dreht da mal dran rum, so wie er gerade meint. Während andere Sachen, die ganz feinen Zahnrädchen – die justieren sich alle gegenseitig selbst. Und man kann da wirklich auch skeptisch sein.“ (25)
Fazit
Die Evidenz-Pyramide hilft, die Qualität wissenschaftlicher Aussagen besser zu bewerten und einzuordnen. Von Expertenmeinungen und Einzelfallbeobachtungen bis hin zu randomisierten kontrollierten Studien und Metaanalysen hat Stufe ihren Wert, aber auch ihre Schwächen. Während Anekdoten und Einzelfälle emotional ansprechend sein können, fehlt ihnen oft die notwendige Objektivität und Reproduzierbarkeit. Um verlässliches Wissen zu generieren, braucht es Methoden, die systematisch und möglichst frei von Verzerrungen sind.
Nur durch fundierte Forschung, die sich den strengen Kriterien der wissenschaftlichen Gemeinschaft stellt, können wir vorläufige Wahrheiten und allgemeingültige Erkenntnisse generieren. Die kritische Auseinandersetzung mit den verschiedenen Formen der Evidenz und die ständige Prüfung und Verbesserung der Methoden sind essenziell, um wissenschaftlichen Fortschritt zu ermöglichen und unser Verständnis von der Welt zu erweitern.
Quellen und Anmerkungen
(2) https://sportsandscience.de/evidenzpyramide/
(3) https://rationalwiki.org/wiki/Bullshit
(4) https://www.e-fellows.net/leben/psyche/selektive-wahrnehmung
(5) https://link.springer.com/referenceworkentry/10.1007/978-94-007-0753-5_1137
(6) https://www.bbc.co.uk/programmes/b00t97xf
(7) https://www.pharmazeutische-zeitung.de/ausgabe-352013/glaubenskrieg-um-globuli/
(9) https://www.philoclopedia.de/2022/09/18/myside-bias/
(11) https://de.wikipedia.org/wiki/Penicilline#Entdeckung
(12) https://en.wikipedia.org/wiki/William_Murrell_(physician)
(13) https://www.welt.de/print-welt/article393173/Wirkung-des-Herzmittels-Nitroglyzerin-geklaert.html
(14) https://de.wikipedia.org/wiki/Fall-Kontroll-Studie
(15) https://de.wikipedia.org/wiki/Kohortenstudie
https://www.ctsu.ox.ac.uk/research/hps
(16) https://de.wikipedia.org/wiki/Framingham-Herz-Studie
(17) https://de.wikipedia.org/wiki/Randomisierte_kontrollierte_Studie
(18) https://www.nejm.org/doi/full/10.1056/NEJMoa2021436
(19) https://www.ctsu.ox.ac.uk/research/hps
(20) https://www.cttcollaboration.org/
(22) https://www.cttcollaboration.org/news/new-study-muscle-pain
(24) https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD006207.pub6/full
+++
Dank an die Autorin für das Recht zur Veröffentlichung dieses Beitrags.
+++
Bildquelle: Giovanni Zacchini / shutterstock
+++
Ihnen gefällt unser Programm? Machen wir uns gemeinsam im Rahmen einer "digitalen finanziellen Selbstverteidigung" unabhängig vom Bankensystem und unterstützen Sie uns bitte mit Bitcoin: https://apolut.net/unterstuetzen#bitcoinzahlung
Informationen zu weiteren Unterstützungsmöglichkeiten finden Sie hier: https://apolut.net/unterstuetzen/
+++
Bitte empfehlen Sie uns weiter und teilen Sie gerne unsere Inhalte in den Sozialen Medien. Sie haben hiermit unser Einverständnis, unsere Beiträge in Ihren eigenen Kanälen auf Social-Media- und Video-Plattformen zu teilen bzw. hochzuladen und zu veröffentlichen.
+++
Abonnieren Sie jetzt den apolut-Newsletter: https://apolut.net/newsletter/
+++
Unterstützung für apolut kann auch als Kleidung getragen werden! Hier der Link zu unserem Fan-Shop: https://harlekinshop.com/pages/apolut
