Se sei in un campo che utilizza l’analisi della varianza, hai sicuramente sentito che i valori p da soli non indicano la dimensione di un effetto. Dovete anche dare una sorta di misura della dimensione dell’effetto.
Perché? Perché con un campione abbastanza grande, qualsiasi differenza nei mezzi, non importa quanto piccola, può essere statisticamente significativa. I valori P sono progettati per dirvi se il vostro risultato è un caso fortuito, non se è grande.
In realtà la misura della dimensione dell’effetto più semplice e diretta è la differenza tra due mezzi. E probabilmente la state già riportando. Ma il limite di questa misura come dimensione dell’effetto non è l’imprecisione. È solo difficile da valutare.
Se avete familiarità con un’area di ricerca e con le variabili usate in quell’area, dovreste sapere se una differenza di 3 punti è grande o piccola, anche se i vostri lettori potrebbero non saperlo. E se state valutando un nuovo tipo di variabile, può essere difficile da dire.
Le dimensioni dell’effetto standardizzate sono progettate per una valutazione più facile. Rimuovono le unità di misura, quindi non è necessario avere familiarità con la scala delle variabili.
La d di Cohen è un buon esempio di misura standardizzata dell’effetto. È equivalente in molti modi a un coefficiente di regressione standardizzato (chiamato beta in alcuni software). Entrambe sono misure standardizzate – dividono la dimensione dell’effetto per le relative deviazioni standard. Quindi, invece di essere in termini di unità originali di X e Y, sia il d di Cohen che i coefficienti di regressione standardizzati sono in termini di deviazioni standard.
Ci sono alcune belle proprietà delle misure standardizzate della dimensione degli effetti. La prima è che si possono confrontare tra le variabili. E in molte situazioni, vedere le differenze in termini di numero di deviazioni standard è molto utile.
Ma sono più utili se si riconoscono anche i loro limiti. A differenza dei coefficienti di correlazione, sia il Cohen’s d che il beta possono essere maggiori di uno. Quindi, anche se è possibile confrontarli tra loro, non si può semplicemente guardarne uno e dire subito che cosa è grande o piccolo. State solo guardando l’effetto della variabile indipendente in termini di deviazioni standard.
Questo è particolarmente importante da notare per il d di Cohen, perché nel suo libro originale, ha specificato certi valori d che indicano effetti piccoli, medi e grandi nella ricerca comportamentale. Mentre la statistica in sé è buona, dovreste prendere queste raccomandazioni sulle dimensioni con un grano di sale (o forse con una ciotola di sale molto grande). Ciò che è un effetto grande o piccolo dipende molto dal vostro specifico campo di studio, e anche un piccolo effetto può essere teoricamente significativo.
Un’altra serie di misure di dimensione dell’effetto per variabili indipendenti categoriali ha un’interpretazione più intuitiva ed è più facile da valutare. Esse includono Eta quadrato, Eta quadrato parziale e Omega quadrato. Come la statistica R quadrato, tutte hanno l’interpretazione intuitiva della proporzione della varianza rappresentata.
Eta quadrato è calcolato allo stesso modo di R quadrato, e ha l’interpretazione più equivalente: sulla variazione totale in Y, la proporzione che può essere attribuita a uno specifico X.
Eta quadrato, tuttavia, è usato specificamente nei modelli ANOVA. Ogni effetto categorico nel modello ha il proprio Eta Squared, così si ottiene una misura specifica e intuitiva dell’effetto di quella variabile.
L’Eta Squared ha due svantaggi, tuttavia. Uno è che quando si aggiungono più variabili al modello, la proporzione spiegata da qualsiasi variabile diminuisce automaticamente. Questo rende difficile confrontare l’effetto di una singola variabile in diversi studi.
L’Eta quadrato parziale risolve questo problema, ma ha un’interpretazione meno intuitiva. Lì, il denominatore non è la variazione totale di Y, ma la variazione non spiegata di Y più la variazione spiegata solo da quella X. Quindi qualsiasi variazione spiegata da altre X viene rimossa dal denominatore. Questo permette a un ricercatore di confrontare l’effetto della stessa variabile in due studi diversi, che contengono diverse covariate o altri fattori.
In un’ANOVA a una via, l’Eta quadrato e l’Eta quadrato parziale saranno uguali, ma questo non è vero nei modelli con più di una variabile indipendente.
Lo svantaggio dell’Eta quadrato è che è una misura distorta della varianza spiegata della popolazione (sebbene sia accurata per il campione). Lo sovrastima sempre.
Questa distorsione diventa molto piccola con l’aumentare della dimensione del campione, ma per i piccoli campioni una misura non distorta della dimensione dell’effetto è l’Omega Quadrato. Omega Squared ha la stessa interpretazione di base, ma usa misure imparziali delle componenti della varianza. Because it is an unbiased estimate of population variances, Omega Squared is always smaller than Eta Squared.
Other recent posts contain equations of all these effect size measures and a list of great references for further reading on effect sizes.
