Si vous êtes dans un domaine qui utilise l’analyse de la variance, vous avez sûrement entendu dire que les valeurs p seules n’indiquent pas la taille d’un effet. Vous devez également donner une sorte de mesure de la taille de l’effet.
Pourquoi ? Parce qu’avec une taille d’échantillon suffisamment grande, toute différence de moyennes, aussi petite soit-elle, peut être statistiquement significative. Les valeurs P sont conçues pour vous dire si votre résultat est un coup de chance, pas s’il est important.
En vérité, la mesure de taille d’effet la plus simple et la plus directe est la différence entre deux moyennes. Et vous êtes probablement déjà en train de la déclarer. Mais la limitation de cette mesure en tant que taille d’effet n’est pas l’inexactitude. Elle est juste difficile à évaluer.
Si vous êtes familier avec un domaine de recherche et les variables utilisées dans ce domaine, vous devriez savoir si une différence de 3 points est grande ou petite, bien que vos lecteurs ne le sachent peut-être pas. Et si vous évaluez un nouveau type de variable, cela peut être difficile à dire.
Les tailles d’effet standardisées sont conçues pour une évaluation plus facile. Elles suppriment les unités de mesure, de sorte que vous n’avez pas à être familier avec la mise à l’échelle des variables.
Le d de Cohen est un bon exemple de mesure de taille d’effet standardisée. Il est équivalent à bien des égards à un coefficient de régression normalisé (étiqueté bêta dans certains logiciels). Il s’agit dans les deux cas de mesures normalisées : elles divisent la taille de l’effet par les écarts types pertinents. Ainsi, au lieu d’être exprimés en termes d’unités initiales de X et Y, le d de Cohen et les coefficients de régression standardisés sont tous deux exprimés en termes d’écarts types.
Il existe quelques propriétés intéressantes des mesures de taille d’effet standardisées. La première est que vous pouvez les comparer entre les variables. Et dans de nombreuses situations, voir les différences en termes de nombre d’écarts types est très utile.
Mais ils sont plus utiles si vous pouvez également reconnaître leurs limites. Contrairement aux coefficients de corrélation, le d et le bêta de Cohen peuvent tous deux être supérieurs à un. Donc, bien que vous puissiez les comparer les uns aux autres, vous ne pouvez pas simplement en regarder un et dire tout de suite ce qui est grand ou petit. Vous regardez simplement l’effet de la variable indépendante en termes d’écarts types.
Ceci est particulièrement important à noter pour le d de Cohen, car dans son livre original, il a spécifié certaines valeurs de d comme indiquant des effets petits, moyens et grands dans la recherche comportementale. Bien que la statistique elle-même soit bonne, vous devez prendre ces recommandations de taille avec un grain de sel (ou peut-être un très grand bol de sel). Ce qu’est un grand ou un petit effet dépend fortement de votre domaine d’étude spécifique, et même un petit effet peut être théoriquement significatif.
Un autre ensemble de mesures de taille d’effet pour les variables indépendantes catégorielles a une interprétation plus intuitive, et est plus facile à évaluer. Il s’agit de l’Eta au carré, de l’Eta au carré partiel et de l’Oméga au carré. Comme la statistique R Squared, elles ont toutes l’interprétation intuitive de la proportion de la variance prise en compte.
Eta Squared est calculé de la même manière que R Squared, et a l’interprétation la plus équivalente : sur la variation totale de Y, la proportion qui peut être attribuée à un X spécifique.
Eta Squared, cependant, est utilisé spécifiquement dans les modèles ANOVA. Chaque effet catégorique dans le modèle a son propre Eta Squared, de sorte que vous obtenez une mesure spécifique et intuitive de l’effet de cette variable.
L’Eta Squared présente cependant deux inconvénients. Le premier est qu’à mesure que vous ajoutez des variables au modèle, la proportion expliquée par une variable quelconque diminue automatiquement. Il est donc difficile de comparer l’effet d’une seule variable dans différentes études.
L’Eta Squared partiel résout ce problème, mais son interprétation est moins intuitive. Là, le dénominateur n’est pas la variation totale de Y, mais la variation inexpliquée de Y plus la variation expliquée juste par ce X. Ainsi, toute variation expliquée par d’autres X est retirée du dénominateur. Cela permet à un chercheur de comparer l’effet d’une même variable dans deux études différentes, qui contiennent des covariables différentes ou d’autres facteurs.
Dans une ANOVA à sens unique, l’Eta carré et l’Eta carré partiel seront égaux, mais ce n’est pas vrai dans les modèles comportant plus d’une variable indépendante.
L’inconvénient de l’Eta carré est qu’il s’agit d’une mesure biaisée de la variance expliquée de la population (bien qu’elle soit exacte pour l’échantillon). Il la surestime toujours.
Ce biais devient très faible lorsque la taille de l’échantillon augmente, mais pour les petits échantillons, une mesure non biaisée de la taille de l’effet est le carré oméga. L’Omega Squared a la même interprétation de base, mais utilise des mesures non biaisées des composantes de la variance. Because it is an unbiased estimate of population variances, Omega Squared is always smaller than Eta Squared.
Other recent posts contain equations of all these effect size measures and a list of great references for further reading on effect sizes.
