in Wirtschaft, Wissenschaft |

Das Primat der Prozente

Immer wieder kommt es vor, dass wir über Für und Wider von Prozentwerten in wissenschaftlichen Arbeiten diskutieren. Anlass sind zumeist Korrekturschlaufen oder eigene Seminare, in denen es um die „richtige“ Vermittlung der Vorgehensweise geht. Auffällig ist in jedem Fall, dass bei der Auswertung von Untersuchungen ein regelrechtes Primat der Prozente herrscht. Jedes noch so kleine Sample wird in Prozentwerten ausgedrückt. Dass eine Person dabei manchmal fünf bis 10 Prozent ausmacht, scheint niemanden zu stören. Hauptsache Prozentwerte! Es kostet dann einige Zeit und Mühe, diese Logik gemeinsam mit den Studierenden zu hinterfragen bzw. sie zu ermuntern, den Weg über die einfache Nennung von Häufigkeiten zu suchen. Angesichts der vorherrschenden Stellung von quantitativer Forschung ist das gar nicht so leicht; im Endeffekt sind aber alle Beteiligten mit dem stärkeren Fokus auf Inhalte und Interpretationen viel zufriedener als mit der bloßen (vorwiegend deskriptiven) Darstellung von Prozenten. Ähnlich ist es übrigens mit den Grafiken: Auch hier ist weniger mehr.

Veröffentlicht

Schreibe einen Kommentar

Kommentar

  1. Hallo,

    ich kann nur Tversky/Kahneman (1973) empfehlen. Insbesondere der Abschnitt mit den systematischen Fehlern der Representativitätsheuristik; Also die methodischen Fehlerchen und Trugschlüsschen hier und da, oder auch die Kunst gezielt Statistiken zu fehlzuinterpretieren, oder die tiefen Abgründe der Studien-Tuning, oder … 😉

    Kahneman & Tversky (1973) “Judgment under Uncertainty: Heuristics and Biases“, Science 27 September 1974, Vol. 185. no. 4157, pp. 1124 – 1131, DOI: 10.1126/science.185.4157.1124
    http://www.sciencemag.org/cgi/content/abstract/185/4157/1124

    Eigentlich ist es so, dass man sich noch so pingelig anstellen kann, man wird nie wirklich korrekte eine statistische Analyse hinbekommen. Ich denke der größte Fehler beim Umgang mit (Zauber-)Zahlen ist, wenn man normativ voreingenommen ist oder seine deskriptive Theorie geradzu zwanghaft mit Zahlen beweisen will, z.B. „da wir zeigten dass XX% dies und das machen… daher ist unsere tolle Begründung die Beste…“. Am auffälligsten ist, wenn bspw. alle vorab formulierten Hypothesen bestätigt wurden. Da kommt bei mir immer der Verdacht auf dass zumindestens beim Sampling oder den Systemgrenzen etwas nachgeholfen wurde. Ich finde Studien einfach glaubwürdiger, die (a) versuchen alle Annahmen aufzulisten, und (b) sehr selbstkritisch die Ergebnisse interpretieren. Das steht dann aber im Widerspruch zu dem was bspw. ein Arbeitgeber oder Geldgeber hören will, die vielleicht irgendwelche konkreten Entscheidungen treffen wollen („Nägeln mit Köpfen“) oder auch nach Bestätigung sucht. Ein echtes Dilemma. Aber gerade deswegen hilft es auch darüber nachzudenken, was nicht im Zahlenwerk ersichtlich ist bzw. ersichtlich gemacht wurde, oder welche methodischen Fehler man quasi automatisch mitgenommen hat.

    Ich habe noch ein Beispiel einer mir neulich geradezu aufgedrängten grottenschlechte Umfrage, die wohl der Verfügbarkeitsheuristik zugeordnet werden kann. Das läuft nach dem Motto: Ich gebe dir die Antworten vor, die ich gerne hören will.

    http://www.axiomaticeconomics.com/economics_quiz.php

    Anhand dieses Quiz will der Ersteller herrausfinden, wie viele Leute einer bestimmten „wirtschaftswissenschaftlichen Glaubensrichtung“ angehören, d.h. Keynsianer, Austrian, oder Axiomatic (<<< das ist quasi die „Sekte“ des Quizerstellers, der natürlich darüber ein Buch geschrieben hat). Hier wird die Schwäche der Umfrage-Methode am deutlichsten: Es werden Lösungen/Antworten vorgegeben, die ziemlich eindeutig Keynes, Austrian oder Axiomatic seien sollen. Was ist aber wenn ein Befragter keinen der drei Antworten zustimmt? Soll der Befragten dann irgendetwas ankreuzen? Sowas kann grundsätzlich bei Umfragen auftauchen. Garnicht so selten werden, dann „ungültige“ Fragenbögen einfach weggeschmissen, und somit aus dem Nenner gestrichen. Hmm, welche Aussagekraft maßen sich dann noch irgendwelche Prozentzahlen an?

  2. Lieber Ulf,

    vielen Dank für Deinen ausführlichen Kommentar! Neben den spannenden Links, die ich mir noch ansehen werde, finde ich wichtig, was Du zur Glaubwürdigkeit von Studien sagst. Denn es ist in der Tat etwas befremdlich, wenn eine Studie nichts kritisch hinterfragt oder ein Thema ausschließlich positiv dargestellt wird. Da kann man gleich davon ausgehen, dass die Ergebnisse geschönt sind – ob ein Sponsor dahinter steht oder nicht. Denn selbst in studentischen Arbeiten fehlt es oft an einer kritischen Einschätzung der eigenen Ergebnisse/des Untersuchungsgegenstands. Natürlich erwähnen wir, wie wichtig das Reflektieren des Geleisteten ist, aber wenn es Hart auf Hart kommt, fehlt so manchem der Mut. Ist auch irgendwie klar, wer stellt seine Arbeit schon gern in Frage? Bei drittmittelfinanzierter Forschung kommen zusätzlich noch Partikularinteressen ins Spiel, die die Ergebnisse teils deutlich verzerren. Man sollte also in jedem Fall sehr genau darauf schauen, wer eine Arbeit/einen Artikel veröffentlicht hat. Dazu kommt natürlich, wie die Erhebungsinstrumente ausgestaltet werden. Eigentlich würde ich mir wünschen, dass stets die Fragebögen mit den erhobenen Daten offengelegt werden. Dann kann sich jeder (zumindest der sich die Mühe machen will) sein eigenes Bild über Ergebnisse/Interpretationen machen. Diese offene Art von Forschung ist aber (leider) momentan nicht durchsetzungsfähig. Jedenfalls kommt es mir in den geistes- und sozialwissenschaftlichen Fächern nur selten unter, dass ich neben einer Publikation die gesamten Erhebungsinstrumente einsehen kann. Vermutlich ist auch das ein Produkt der Ökonomisierung – nicht die Erkenntnisse, sondern der (persönliche) Erfolg des Wissenschaftlers/einer Einrichtung stehen im Vordergrund. Trotzdem tragen aber auch diese Forschungsaktivtäten zu neuen Erkenntnissen bei (meistens ;-)), sodass man sie mit besagtem kritischen Auge in jedem Fall heranziehen und im Notfall wieder weglegen sollte.

    Viele Grüße,

    Sandra

  3. Hi Sandra,

    eine kleine, erst kürzlich erlebte Anekdote zu der von dir angepsrochenen Prozent-Problematik:

    Ich hatte vor einigen Tagen das Vergnügen meine Master Thesis bei meinem Proxispartner vorzustellen und im Rahmen dessen kamen auch einige andere Diplomanden zu Wort und stellten ihrerseits Ergebnisse vor. Eine Präsentation war unter dem Gesichtspunkt der ständigen Prozentprotzerei geradezu beispielgebend. So wurden zwei Umfrage (n=18 und n=4) durchgeführt. Als die Ergebnisse der zweiten Umfrage mit den vier befragten Unternehmen gezeigt wurden, kam das beste Diagramm, das ich je gesehen hatte: Vier Balken mit jeweils 25%, da n schließlich 4 war. Aaaaaalllles klar … Eine darauffolgende Grafik zeigte, dass drei Unternehmen X sagten, das Übrige jedoch Y zu einem bestimmten Thema. O-Ton der Referentin: „Hier kann man einen Trend ablesen …“. Ähhh, nein, das kann man nicht … Naja, ich hab mal nix gesagt. Lustigerweise kam das alles sogar gut an, was natürlich wiederum Rückschlüsse auf das Niveau der Runde zulässt. Aber egal. Was die Referentin aber gut gemacht hat – und hier verstehe ich nicht, warum das nicht so durchgezogen wurde – war unter diesen vier Unternehmen einen qualitativen Vergleich hinsichtlich eines bestimmten Untersuchungspunktes anzustellen. Die hier extrahierten Ergebnisse fand ich um einiges spannender und nützlicher als Prozent-Diagramme, die auf n04 aufbauen …

    vg
    Dominik

  4. Hallo Domi,

    ein echter Extremfall! Schade, dass Du nichts dazu gesagt hast – wäre vielleicht auch etwas unfair gegenüber den anderen Referenten. Allerdings bin ich schon entsetzt, dass so etwas anscheinend niemandem auffällt. In welchem Kontext ist die Arbeit noch mal entstanden? 😉

    Viele Grüße,

    Sandra

  5. Den Kontext kann ich dir schon sagen *g* es ging um Traineeprogramme und duale Masterstudiengänge, die unternehmenseitig mitgetragen/angeboten werden. Innerhalb welchen Unternehmens die Arbeit präsentiert wurde, überlasse ich deiner Phantasie 😉