Wenn Sie in einem Bereich tätig sind, in dem Varianzanalysen verwendet werden, haben Sie sicher schon gehört, dass p-Werte allein nicht die Größe eines Effekts angeben. Sie müssen auch eine Art von Effektgrößenmaß angeben.
Warum? Weil bei einem ausreichend großen Stichprobenumfang jeder noch so kleine Unterschied zwischen den Mittelwerten statistisch signifikant sein kann. P-Werte sollen Ihnen sagen, ob Ihr Ergebnis ein Zufall ist, und nicht, ob es groß ist.
Das einfachste und direkteste Maß für die Effektgröße ist die Differenz zwischen zwei Mittelwerten. Und das geben Sie wahrscheinlich schon an. Aber die Einschränkung dieses Maßes als Effektgröße ist nicht die Ungenauigkeit. Es ist nur schwer auszuwerten.
Wenn Sie mit einem Forschungsgebiet und den in diesem Gebiet verwendeten Variablen vertraut sind, sollten Sie wissen, ob ein Unterschied von 3 Punkten groß oder klein ist, auch wenn Ihre Leser das vielleicht nicht wissen. Und wenn Sie eine neue Art von Variablen auswerten, kann es schwierig sein, das zu erkennen.
Standardisierte Effektgrößen sind für eine einfachere Auswertung konzipiert. Sie lassen die Maßeinheiten weg, so dass Sie nicht mit der Skalierung der Variablen vertraut sein müssen.
Cohen’s d ist ein gutes Beispiel für eine standardisierte Effektgrößenmessung. Es ist in vielerlei Hinsicht äquivalent zu einem standardisierten Regressionskoeffizienten (in manchen Programmen als Beta bezeichnet). Beides sind standardisierte Maße – sie teilen die Größe des Effekts durch die entsprechenden Standardabweichungen. Anstatt in den ursprünglichen Einheiten von X und Y ausgedrückt zu werden, werden sowohl Cohen’s d als auch standardisierte Regressionskoeffizienten in Standardabweichungen ausgedrückt.
Es gibt einige gute Eigenschaften von standardisierten Effektgrößenmaßen. Die wichtigste ist, dass man sie über Variablen hinweg vergleichen kann. Und in vielen Situationen ist es sehr hilfreich, Unterschiede in Bezug auf die Anzahl der Standardabweichungen zu sehen.
Aber am nützlichsten sind sie, wenn man auch ihre Grenzen erkennt. Im Gegensatz zu Korrelationskoeffizienten können sowohl Cohens d als auch Beta größer als eins sein. Man kann sie zwar miteinander vergleichen, aber man kann nicht einfach auf einen Wert schauen und sofort sagen, was groß oder klein ist. Man betrachtet lediglich die Wirkung der unabhängigen Variable in Form von Standardabweichungen.
Dies ist für Cohens d besonders wichtig, da er in seinem ursprünglichen Buch bestimmte d-Werte als Hinweis auf kleine, mittlere und große Wirkungen in der Verhaltensforschung angab. Auch wenn die Statistik an sich gut ist, sollten Sie diese Größenempfehlungen mit Vorsicht genießen (oder vielleicht mit einer sehr großen Schüssel Salz). Was ein großer oder kleiner Effekt ist, hängt in hohem Maße von Ihrem spezifischen Studienbereich ab, und selbst ein kleiner Effekt kann theoretisch bedeutsam sein.
Eine andere Gruppe von Effektgrößenmaßen für kategoriale unabhängige Variablen hat eine intuitivere Interpretation und ist einfacher zu bewerten. Dazu gehören Eta-Quadrat, partielles Eta-Quadrat und Omega-Quadrat. Wie die R-Quadrat-Statistik haben sie alle die intuitive Interpretation des Anteils an der erklärten Varianz.
Eta-Quadrat wird auf die gleiche Weise berechnet wie R-Quadrat und hat die äquivalenteste Interpretation: von der Gesamtvariation in Y ist der Anteil, der einem bestimmten X zugeschrieben werden kann.
Eta-Quadrat wird jedoch speziell in ANOVA-Modellen verwendet. Jeder kategoriale Effekt im Modell hat sein eigenes Eta-Quadrat, so dass man ein spezifisches, intuitives Maß für den Effekt dieser Variablen erhält.
Eta-Quadrat hat jedoch zwei Nachteile. Der eine ist, dass der Anteil, der durch eine Variable erklärt wird, automatisch abnimmt, wenn man dem Modell weitere Variablen hinzufügt. Dies erschwert den Vergleich der Wirkung einer einzelnen Variable in verschiedenen Studien.
Partial Eta Squared löst dieses Problem, ist aber weniger intuitiv zu interpretieren. Hier ist der Nenner nicht die Gesamtvariation in Y, sondern die unerklärte Variation in Y plus die Variation, die nur durch dieses X erklärt wird, so dass jegliche Variation, die durch andere X erklärt wird, aus dem Nenner entfernt wird. Auf diese Weise kann ein Forscher die Wirkung derselben Variable in zwei verschiedenen Studien vergleichen, die unterschiedliche Kovariaten oder andere Faktoren enthalten.
Bei einer einseitigen ANOVA sind Eta-Quadrat und partielles Eta-Quadrat gleich, was jedoch bei Modellen mit mehr als einer unabhängigen Variable nicht zutrifft.
Der Nachteil von Eta-Quadrat ist, dass es ein verzerrtes Maß für die erklärte Varianz der Bevölkerung ist (obwohl es für die Stichprobe genau ist). Es überschätzt sie immer.
Diese Verzerrung wird mit zunehmender Stichprobengröße sehr klein, aber für kleine Stichproben ist das Omega-Quadrat ein unverzerrtes Effektgrößenmaß. Das Omega-Quadrat hat dieselbe grundlegende Interpretation, verwendet aber unverzerrte Maße der Varianzkomponenten. Because it is an unbiased estimate of population variances, Omega Squared is always smaller than Eta Squared.
Other recent posts contain equations of all these effect size measures and a list of great references for further reading on effect sizes.
