Als u zich bezighoudt met variantieanalyses, hebt u ongetwijfeld gehoord dat p-waarden alleen niet voldoende zijn om de grootte van een effect aan te geven. Je moet ook een soort effectmaat geven.
Waarom? Omdat met een steekproefgrootte die groot genoeg is, elk verschil in gemiddelden, hoe klein ook, statistisch significant kan zijn. P-waarden zijn bedoeld om u te vertellen of uw resultaat een toevalstreffer is, niet of het groot is.
De eenvoudigste en meest eenvoudige maat voor de effectgrootte is het verschil tussen twee gemiddelden. En dat rapporteert u waarschijnlijk al. Maar de beperking van deze maat als effectgrootte is niet onnauwkeurigheid.
Als u bekend bent met een onderzoeksgebied en de variabelen die daarin worden gebruikt, moet u weten of een verschil van 3 punten groot of klein is, maar uw lezers misschien niet. En als je een nieuw type variabele evalueert, kan dat moeilijk te zeggen zijn.
Gestandaardiseerde effectgroottes zijn ontworpen om gemakkelijker te kunnen evalueren. Ze verwijderen de meeteenheden, zodat u niet bekend hoeft te zijn met de schaling van de variabelen.
Cohen’s d is een goed voorbeeld van een gestandaardiseerde effectgrootte. Het is in veel opzichten gelijkwaardig aan een gestandaardiseerde regressiecoëfficiënt (in sommige software aangeduid met bèta). Beide zijn gestandaardiseerde maten – ze delen de grootte van het effect door de relevante standaarddeviaties. Dus in plaats van in termen van de oorspronkelijke eenheden van X en Y, zijn zowel Cohen’s d als de gestandaardiseerde regressiecoëfficiënten in termen van standaarddeviaties.
Er zijn een aantal leuke eigenschappen van gestandaardiseerde effectgroottematen. De belangrijkste is dat je ze kunt vergelijken tussen variabelen. En in veel situaties is het heel nuttig om verschillen te zien in termen van het aantal standaarddeviaties.
Maar ze zijn het nuttigst als je ook hun beperkingen kent. In tegenstelling tot correlatiecoëfficiënten, kunnen zowel Cohen’s d als beta groter zijn dan één. Je kunt ze dus wel met elkaar vergelijken, maar je kunt niet naar één ervan kijken en meteen zeggen wat groot of klein is. Je kijkt gewoon naar het effect van de onafhankelijke variabele in termen van standaarddeviaties.
Dit is vooral belangrijk voor Cohen’s d, omdat hij in zijn oorspronkelijke boek bepaalde d-waarden specificeerde als indicatie voor kleine, middelgrote en grote effecten in gedragsonderzoek. Hoewel de statistiek op zich een goede is, moet u deze grootte-aanbevelingen met een korreltje zout nemen (of misschien met een heel grote kom zout). Wat een groot of klein effect is, hangt sterk af van uw specifieke onderzoeksgebied, en zelfs een klein effect kan theoretisch betekenisvol zijn.
Een andere reeks effectgroottematen voor categorische onafhankelijke variabelen heeft een meer intuïtieve interpretatie, en is gemakkelijker te evalueren. Zij omvatten Eta Kwadraat, Partiële Eta Kwadraat, en Omega Kwadraat. Net als de statistiek R kwadraat hebben zij alle de intuïtieve interpretatie van het deel van de variantie dat wordt berekend.
Eta kwadraat wordt op dezelfde manier berekend als R kwadraat, en heeft de meest equivalente interpretatie: van de totale variatie in Y, het deel dat kan worden toegeschreven aan een specifieke X.
Eta kwadraat wordt echter specifiek gebruikt in ANOVA-modellen. Elk categorisch effect in het model heeft zijn eigen Eta Kwadraat, zodat je een specifieke, intuïtieve maat krijgt voor het effect van die variabele.
Eta Kwadraat heeft echter twee nadelen. Een daarvan is dat naarmate je meer variabelen aan het model toevoegt, het aandeel dat door een variabele wordt verklaard automatisch afneemt. Dit maakt het moeilijk om het effect van een enkele variabele in verschillende studies te vergelijken.
Partiële Eta Kwadraat lost dit probleem op, maar heeft een minder intuïtieve interpretatie. De noemer is niet de totale variatie in Y, maar de onverklaarde variatie in Y plus de variatie die alleen door die X wordt verklaard. Dus alle variatie die door andere X-en wordt verklaard, wordt uit de noemer verwijderd. Hierdoor kan een onderzoeker het effect van dezelfde variabele vergelijken in twee verschillende studies, die verschillende covariaten of andere factoren bevatten.
In een eenweg ANOVA zullen Eta Kwadraat en Partiële Eta Kwadraat gelijk zijn, maar dit geldt niet in modellen met meer dan één onafhankelijke variabele.
Het nadeel voor Eta Kwadraat is dat het een vertekende maat is voor de verklaarde populatievariantie (hoewel het nauwkeurig is voor de steekproef). Hij overschat deze altijd.
Deze vertekening wordt erg klein naarmate de steekproefgrootte toeneemt, maar voor kleine steekproeven is Omega Kwadraat een onvertekende maat voor de effectgrootte. Omega Kwadraat heeft dezelfde basisinterpretatie, maar gebruikt onvertekende maten van de variantiecomponenten. Because it is an unbiased estimate of population variances, Omega Squared is always smaller than Eta Squared.
Other recent posts contain equations of all these effect size measures and a list of great references for further reading on effect sizes.
