Ha olyan területen dolgozik, ahol varianciaanalízist használnak, biztosan hallotta már, hogy a p-értékek önmagukban nem jelzik a hatás méretét. Valamilyen hatásméret-mértéket is meg kell adnia.
Miért? Mert elég nagy mintaméret esetén az átlagok közötti bármilyen különbség, legyen az bármilyen kicsi, statisztikailag szignifikáns lehet. A P-értékek arra szolgálnak, hogy megmondják, hogy az eredmény véletlen-e, nem pedig arra, hogy nagy-e.
A legegyszerűbb és legegyszerűbb hatásméret-mérték a két átlag közötti különbség. És ezt valószínűleg már jelentette is. De ennek az intézkedésnek, mint hatásméretnek a korlátja nem a pontatlanság. Egyszerűen csak nehéz értékelni.
Ha ismeri a kutatási területet és az ott használt változókat, akkor tudnia kell, hogy egy 3 pontos különbség nagy vagy kicsi, bár az olvasói talán nem. Ha pedig egy új típusú változót értékel, nehéz lehet megmondani.
A standardizált hatásméreteket a könnyebb értékelés érdekében tervezték. Eltávolítják a mértékegységeket, így nem kell ismernie a változók skálázását.
A Cohen’s d jó példa a standardizált hatásméret mérésére. Sok szempontból egyenértékű a standardizált regressziós együtthatóval (egyes szoftverekben bétával jelölve). Mindkettő standardizált mérőszám – a hatás méretét osztják a vonatkozó standard eltérésekkel. Tehát ahelyett, hogy X és Y eredeti egységeiben lennének kifejezve, mind a Cohen’s d, mind a standardizált regressziós együtthatók standard eltérésekben vannak kifejezve.
A standardizált hatásméreteknek van néhány szép tulajdonsága. A legfontosabb az, hogy összehasonlíthatja őket a változók között. És sok helyzetben nagyon hasznos, ha a különbségeket a standard eltérések számában látjuk.
De akkor a leghasznosabbak, ha felismerjük a korlátaikat is. A korrelációs együtthatókkal ellentétben mind a Cohen d, mind a béta nagyobb lehet egynél. Tehát bár össze lehet őket hasonlítani egymással, nem lehet csak ránézni az egyikre, és rögtön megmondani, hogy mi a nagy vagy a kicsi. Csak a független változó hatását nézzük a standard eltérések tekintetében.
Ezt különösen fontos megjegyezni Cohen d-je esetében, mert eredeti könyvében bizonyos d-értékeket úgy határozott meg, mint amelyek kis, közepes és nagy hatásokat jeleznek a viselkedéskutatásban. Míg maga a statisztika jó, ezeket a méretre vonatkozó ajánlásokat egy szemernyi sóval (vagy talán egy nagyon nagy tál sóval) kell vennie. Az, hogy mi számít nagy vagy kis hatásnak, nagymértékben függ a konkrét kutatási területtől, és még egy kis hatás is lehet elméleti jelentőségű.
A kategorikus független változókra vonatkozó hatásméretek egy másik csoportja intuitívabb értelmezéssel rendelkezik, és könnyebben értékelhető. Ezek közé tartozik az Eta négyzet, a részleges Eta négyzet és az Omega négyzet. Az R négyzet statisztikához hasonlóan mindegyiknek az az intuitív értelmezése, hogy a variancia mekkora hányadát magyarázza.
Az Eta négyzetet ugyanúgy számítják ki, mint az R négyzetet, és a leginkább egyenértékű értelmezéssel rendelkezik: az Y teljes variációjából az az arány, amely egy adott X-nek tulajdonítható.
Az Eta négyzetet azonban kifejezetten ANOVA-modellekben használják. A modellben minden kategorikus hatásnak saját Eta négyzete van, így az adott változó hatásának egy konkrét, intuitív mértékét kapjuk.
Az Eta négyzetnek azonban két hátránya van. Az egyik, hogy ahogy több változót adunk hozzá a modellhez, az egy változó által megmagyarázott arány automatikusan csökken. Ez megnehezíti egyetlen változó hatásának összehasonlítását a különböző tanulmányokban.
A részleges Eta négyzet megoldja ezt a problémát, de kevésbé intuitív az értelmezése. Itt a nevező nem az Y teljes variációja, hanem az Y megmagyarázatlan variációja plusz a csak az adott X által megmagyarázott variáció, tehát minden más X által megmagyarázott variáció kikerül a nevezőből. Ez lehetővé teszi a kutató számára, hogy összehasonlítsa ugyanazon változó hatását két különböző vizsgálatban, amelyek különböző kovariánsokat vagy más tényezőket tartalmaznak.
Egyirányú ANOVA esetén az Eta négyzet és a részleges Eta négyzet egyenlő lesz, de ez nem igaz az egynél több független változót tartalmazó modellekre.
Az Eta négyzet hátránya, hogy a megmagyarázott populációs variancia torz mérőszáma (bár a mintára vonatkozóan pontos). Mindig túlbecsüli azt.
Ez a torzítás a minta méretének növekedésével nagyon kicsi lesz, de kis minták esetében egy torzítatlan hatásméret-mérték az Omega négyzet. Az Omega négyzetnek ugyanaz az alapvető értelmezése, de a varianciakomponensek torzítatlan mértékét használja. Because it is an unbiased estimate of population variances, Omega Squared is always smaller than Eta Squared.
Other recent posts contain equations of all these effect size measures and a list of great references for further reading on effect sizes.
