Studien

Traue keiner Studie, die Du nicht selbst gefälscht hast …

Vor ein paar Tagen stellte man mir in einem Gespräch eine spannende Frage, die ungefähr so lautete: „Lässt Du Dein Weltbild durch Studien beeinflussen?“

Die anwesenden Mathematiker waren sich alle sofort einig, dass das bei ihnen definitiv nicht der Fall ist. Ich war mir da bezogen auf mich nicht so sicher. Ich befinde mich da in einem unangenehmen Spagat. Einerseits kennt man Beispiel noch und nöcher für Fehler mit Statistik und Studien. Schlechte Randomisierung, zu kleine Stichproben, Experimenter-Effect, Excel-Bugs, 3D-Torten-Diagramme die Varianten und Möglichkeiten sind schier endlos. Ich habe gerade keine Links parat, aber ich hoffe ihr kennt die guten Beispiele, wie zum Beispiel die Schokoladendiät, die beim abnehmen hilft. Exemplarisch verweise ich auf XKCD. Manchmal liegt es auch nicht an Unfähigkeit oder dem Problem, dass es einfach so unglaublich schwer ist gute Daten zu erheben, sondern ist bewusste Täuschung mit Zahlen oder in der Darstellung. In meiner nicht empirischen Wahrnehmung, haben Teile der Medien (jedenfalls die, die ich konsumieren) da in letzter Zeit ein verschärftes Auge drauf, was ich sehr begrüsse. Ich vermute, dass dies mit der generellen öffentlich wahrgenommenen Bedrohung der Wahrheit zusammen hängt.

Aber wie ich schon vor ein paar Jahren bei Eliezer Yudkowsky las, „If correlation doesn’t imply causation, then what does?“ (Unter diesem Namen findet man von dort aus auch diesen Artikel den schaue ich mir später nochmal genauer an.). Mein Punkt dabei ist: Warum sollte ich überspitzt gesagt überhaupt etwas glauben, was nicht aus einer Studie kommt? Natürlich ist unser Meinungsfindungsprozess etwas vielschichtiger als das. Es ist ja schon kompliziert zu sortieren, was tatsächlich Fakt ist (und damit durch eine Studie untersucht werden kann) und was Meinung. Viele Fakten ergeben sich auch aus unserer eindeutigen Wahrnehmung oder stützen sich auf Experimente. Aber da wird der Übergang schon fließend. Viele der in unserem Umfeld anerkannten Meinungen stützen sich natürlich auf Studien und prägen so sicher auch die Weltbilder der oben genannten Mathematiker. Das relevanteste Beispiel dazu ist mit Sicherheit die Medizin. Ganz besonders furchtbares Unwesen treiben Studien in den Ernährungswissenschaften. (Obwohl ich dieser Wissenschaft überhaupt nicht ihre Seriosität oder Berechtigung absprechen müsste, bezweifle ich, dass viel von dem, was im Volkswissen dazu ankommt, Wissenschaft ist.)

In der Grundlagenvorlesungen zur Stochastik habe ich gelernt, dass es nur eine aussagekräftige Form der Studie gibt: Die randomisierte, kontrollierte und prospektive Studie. Das heißt mit zufälliger Stichprobe, Kontrollgruppe und nicht auf Basis einer retrospektiven Auswertung. Damit kommt so eine Studie, finde ich, schon ziemlich nahe dran an ein Experiment. Alle anderen Studien zeigen zwar Korrelationen auf, aber können nur als Hinweis auf möglich Kausalität interpretiert werden. Solche Korrelationen zu beobachten und unkommentiert in die Welt zu setzen, ist sicher häufiger als fahrlässig zu bezeichnen.

Natürlich ist es häufig sehr schwierig - schlimmer! ich würde sagen: meistens unmöglich - solche Studien durchzuführen. Und selbst, wenn man sich an die obigen Regeln hält, kann noch alles möglich schiefgehen. Zum Beispiel muss ein Medikamententest doppeltblind erfolgen, um eine Verfälschung des Placebo-Effekts zu vermeiden. Im Endeffekt sind also Wissenschaften, die solche Studien benötigen schwer. Ernährungswissenschaften sind ein gutes Beispiel für eine aus meiner Perspektive sehr schwere Wissenschaft. Ich hoffe die Wissenschaftler_innen in den betreffenden Disziplinen, sind sich im Klaren darüber, wie schwer es ist, über solche Probleme überhaupt Aussagen zu machen. Leider verleitet der Wunsch, etwas Aussagen zu können, oder einfach der Drang zu publizieren, dazu dieses Problem eventuell aus den Augen zu verlieren. Ich kenne mich in diesen Teilen der Wissenschaft nicht gut aus, aber manchmal Frage ich mich, ob es nicht eigentlich zu kompliziert ist um dies überhaupt als Wissenschaft zu betreiben. Es ist kein Wunder, dass ich mich bevorzugt am anderen Ende des Spektrums befinde, in den Wissenschaften, wo Daten- und Faktenlage deutlich klarer ist; in meiner hier vorgestellten Charakterisierung also die „leichten“ Wissenschaften. (Das mag von außen freilich nicht immer so aussehen. Dadurch, dass Mathematik und Physik so „leicht“ sind, ist es aber ja nicht verwunderlich, dass man tiefere und komplizierter Strukturen verstehen kann.)

Ich habe das Gefühl damit in der Zwickmühle zu sein. Einerseits führt mich jede neue Studie mehr in die Irre, andererseits will ich mich eigentlich nicht trauen irgendetwas ohne eine seriöse Studie zu glauben. Und gerade in den Bereichen Politik, Gesellschaft oder Psychologie, also den für das Leben wirklich spannenden Fragestellungen hört man andauernd von neuen Studien und Statistiken. (Eines meiner Standardbeispiele ist: „Hilft der Mindestlohn?“ Da gibt es Daten in jede Richtung.) Wenn ich ehrlich bin, neige ich vermutlich auch dazu, mir unter dem Datenmüll, der an mir vorbei strömt, mir immer das rauszupicken, was mir gerade gefällt. (Ich habe mal gelesen, dass Intelligenz mit Naivität korreliert ist. Ich finde mich ziemlich naiv …) Aber es sind eben auch diese Bereiche, in denen ich mich so sehr nach Fakten sehne. Ich denke man verliert viel zu häufig aus den Augen, wie sehr man sich an solchen Stellen mit jeder Äußerung auf dünnem Eis bewegt.

Eine andere Perspektive auf das Problem hat mir dieser Artikel (PDF) aufgezeigt. Bei dem mir nicht wirklich klar ist, in wie fern ich die Position teilen kann. Es wird dort behauptet, dass die evidenzbasierte Medizin ein faschistoides System ist, weil sie keine anderen Meinungen akzeptiert. Das liest sich für mich sehr verwirrend, weil ich einerseits den Argumenten für dies Position zustimmen muss, aber andererseits das Problem daran nicht erkennen kann, weil mir der Ansatz der evidenzbasierten Medizin als der offensichtlich richtige erscheint.

Zusammenfassend finde ich es also sehr schwierig einerseits das Gefühl zu haben, dass ich nichts glauben sollte, was nicht durch Studien gestützt wird, aber andererseits auch keiner Studien glauben sollte. Die Tatsache, dass dies Problematik Fragen betrifft zu denen einen fundierte Meinung wirklich nützlich wäre, macht das ganze nicht leichter.

Es gibt natürlich die offensichtlich Antwort auf die Problematik. Meta-Studien, reproduzierte Studien, etc. Die Unmöglichkeit sichere Fakten zu erhalten hat mich nur mal wieder frustrierend getroffen. Vielleicht frustriert mich daran am meisten die Realisierung, dass in meinem Weltbild sicher ein Haufen falscher Annahmen ist, die auf der falschen Abwägung der obigen Problematik beruhen. Mein Fehler ist glaube ich tendenziell zu studiengläubig zu sein. Da heißt es in Zukunft mehr aufzupassen.

Update: Mich erreichte folgende Anmerkung:

Zwei Anmerkungen aus den Wirtschaftswissenschaften:

1. Die Verwendung von randomisierten kontrollierten Studien und ein stärkerer Fokus auf natürliche Experimente haben in den letzten 20 Jahren zumindest die Entwicklungsökonomie revolutioniert. Fragen wie “kaufen und verwenden Personen Anti-Moskito-Netze eher wenn sie sie umsonst bekommen, zu einem gestützten Preis oder zum Marktpreis?” haben hierdurch endlich Antworten bekommen, die zumindest im vorgegebenen lokalen Kontext belastbar sind und (natur-)wissenschaftlichen Ansprüchen gerecht werden. Für eine angenehm enthusiastische Darstellung siehe mein großes Idol Esther Duflo (ja, sie ist Französin): https://www.youtube.com/watch?v=0zvrGiPkVcs. Natürlich ist auch mit RCTs nicht alles Zucker, aber es ist ein riesiger Schritt nach vorn.

2. Die Mindestlohn-Literatur wurde in den 1990er Jahren durch David Card und Alan B. Krueger eben genau durch die Nutzung natürlicher Experimente revolutioniert. Zuvor hatten Ökonomen meist mithilfe von Regressionsmodellen (stark) negative Effekte gefunden. Card und Krueger nutzten aus, dass einer von zwei benachbarten US-Bundesstaaten, die beide zu Beginn den gleichen Mindestlohn hatten, seinen Mindestlohn erhöhte, um zu vergleichen wie sich die Arbeitslosigkeit und andere Arbeitsmarktvariablen im Fast-Food-Sektor - ein Sektor mit einem sehr hohen Anteil an Mindestlohnverdienern - entlang der Staatengrenze entwickelten; hierbei fanden Card und Krueger keinerlei Erhöhung der Arbeitslosigkeit und argumentierten, dass der Mindestlohn einerseits nicht allzu hoch (also nicht allzu “bindend”) gewesen sein mag, aber auch, dass er vermutlich die Nachfrage nach FastFood-Produkten - und somit auch nach Arbeitskräften in diesem Sektor - erhöht und somit die gestiegenen Arbeitskosten kompensiert haben könnte. Lange Rede, kurzer Sinn: die Verwendung von quasi-experimentellen Designs in der Mindestlohnforschung gilt mittlerweile als Goldstandard. Leider konnte ich den Bundestag nicht davon überzeugen die Einführung des bundesweiten Mindestlohns auf Gemeindeebene zu randomisieren. :D

Des Weiteren: http://tylervigen.com/spurious-correlations

Vielen Dank, Hector!

Have any feedback? Don‘t hesitate to contact me! (see above)