What is the unit of analysis and why should I care?

Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.

Not just jargon

The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:

Study question: Que faut-il faire pour augmenter la conformité des prestataires à une nouvelle directive de soins cliniques ?

Un exemple de cas où l’unité d’analyse est la même que l’unité d’observation : Les prestataires font part de leur opinion sur la directive de soins et de leur volonté de la suivre dans le cadre d’une enquête ou d’un groupe de discussion.

Un exemple de cas où l’unité d’analyse n’est PAS la même que l’unité d’observation : Des données sont extraites d’Epic en fonction des visites cliniques, des patients ou des procédures pour évaluer si la directive de soins cliniques a été ou non suivie dans chaque cas. Les observations sont agrégées jusqu’au fournisseur afin que chaque fournisseur ait son propre taux de conformité. Le prestataire est l’unité d’analyse, puisque c’est son comportement que nous voulons connaître.

L’unité d’observation est la source de données qui décrit votre unité d’analyse. Dans le schéma ci-dessous, il y a quatre niveaux d’observation et d’analyse possibles – l’individu, le prestataire, la clinique et l’hôpital. Nous pourrions ajouter d’autres niveaux, c’est certain. Mais dans le travail de recherche et d’amélioration de la qualité, nous nous déplaçons souvent entre ces couches d’activité.

Fig. 1 : Unités d’analyse et d’observation possibles dans nombre de nos projets de recherche ou d’amélioration de la qualité

Pourquoi il est utile de connaître la différence

Premièrement, lorsque vous effectuez des tests statistiques, la taille de l’échantillon dont vous avez besoin est basée sur l’unité d’analyse, et non sur l’unité d’observation. Dans notre exemple sur la conformité des prestataires aux directives de soins cliniques, nous aurions besoin de collecter des données sur cinquante prestataires pour juger si nous changeons le comportement des prestataires. Mais les données de ces cinquante prestataires pourraient être l’agrégation de milliers de visites de patients. Si notre objectif est de savoir si nos patients font l’expérience de la conformité aux directives de soins cliniques, alors un taux global est approprié (nous n’avons pas besoin de savoir ce que font les prestataires individuels).

Deuxièmement, lorsque l’unité d’analyse et l’unité d’observation sont différentes et que nous sommes confus à leur sujet, certaines erreurs peuvent être commises :

(a) Nous constituons un ensemble de données qui ne peut pas du tout être analysé parce qu’il mélange différentes unités d’analyse de manière non systématique. Il existe des procédures statistiques qui fonctionnent avec des données  » mixtes « , mais les ensembles de données doivent être configurés correctement dès le départ.

(b) Nous tirons des conclusions basées uniquement sur l’unité d’observation et, comme la taille de l’échantillon pour ce groupe a tendance à être très grande, nos conclusions statistiques sont trompeuses (c’est-à-dire qu’elles seraient plus susceptibles d’être statistiquement significatives que les résultats basés sur l’unité d’analyse).

(c) Nous commettons ce que l’on appelle  » le sophisme écologique « , dans lequel nous tirons des conclusions sur les unités d’observation en étudiant l’unité d’analyse. Par exemple, si un prestataire respecte à 70 % les directives de soins cliniques et que 30 % de ses visites de patients ont eu lieu dans des cliniques géographiquement éloignées, nous pourrions vouloir conclure que ce sont surtout les visites dans les cliniques éloignées pour lesquelles les directives n’ont pas été suivies. Mais nous n’aurions aucune preuve de cela. Nous devrions analyser les observations individuelles pour déterminer si cela est vrai. Le sophisme écologique se produit lorsque nous supposons des choses sur les individus en nous basant sur des données au niveau du groupe.

Oh, et puis ça se gâte

La figure 1 suggère une distinction nette entre les différentes unités d’analyse possibles et les unités d’observation. Mais cela suppose que les différents niveaux d’unités d’analyse sont vraiment indépendants les uns des autres. Cette hypothèse ne tient généralement pas.

La figure 2 montre une perspective de la hiérarchie sociale autour des enfants au cours de leur développement (elle est utilisée par la théorie des systèmes de développement). Pour étudier l’enfant, vous pourriez être intéressé par l’utilisation de la famille ou du groupe de pairs comme unité d’analyse. Et il n’est pas difficile d’imaginer des interactions entre tous ces niveaux.

Fig. 2 : Modèle du développement de l’enfant selon la théorie des systèmes de développement

Par exemple, dans une étude sur laquelle j’ai eu la chance de travailler, mon merveilleux collègue, David Henry, a utilisé les groupes de pairs comme unité d’analyse pour étudier le comportement agressif des enfants. Nous avons recueilli des données auprès d’enfants de troisième année dans de nombreuses classes. Les enfants ont été interrogés sur leur propre comportement et sur les normes de leur classe (ou groupe de pairs). David a pu montrer que le niveau de comportement agressif des enfants était déterminé de manière significative par les normes du groupe de pairs et que si vous pouviez changer les normes du groupe de pairs, vous pouviez changer le comportement de l’enfant dans une certaine mesure.

Il a appelé cela  » le potentiel de retour de l’agression « , c’est-à-dire que certains groupes récompensent le comportement agressif et, ce faisant, motivent les enfants à agir plus agressivement les uns envers les autres qu’ils ne le feraient autrement – il y avait une interaction claire entre le groupe de pairs et l’enfant individuel. Si l’étude traitait l’enfant comme l’unité d’analyse, nous serions passés à côté de ce résultat vraiment important.

Donc, une partie du défi dans le choix de l’unité d’analyse que vous utilisez est de se débattre avec l’endroit où se situe l’action – à qui appartient le comportement que vous essayez de changer, quels sont les déclencheurs que votre projet d’AQ essaie de tirer et qui serait responsable d’y réagir – en sachant qu’en réalité, il y a une action à plus d’un  » niveau  » et probablement une certaine interaction entre eux. David avait une intuition très éclairée selon laquelle il se passait quelque chose dans le groupe de pairs qui n’avait pas encore été exploré à fond et qui déterminait le comportement individuel, alors il s’est concentré là-dessus.

Certaines études tentent de mesurer chaque niveau et de déterminer quel lieu d’action est le plus efficace ou le plus intéressant après coup. Une étude que j’ai supervisée il y a des années était exactement comme cela – elle s’est déroulée dans des écoles et nous avons recueilli des données auprès des étudiants, des enseignants et des écoles. Notre unité d’analyse initiale était l’élève, mais cela a changé une fois que nous avons eu nos données. Le plan d’échantillonnage nous a permis de passer à l’utilisation de l’école comme unité d’analyse parce qu’elle était très robuste, et c’est effectivement là que nous avons trouvé les différences les plus intéressantes. Nous avons ensuite pu « contrôler » certaines caractéristiques des enseignants et des élèves et étudier comment différents types d’écoles permettent un meilleur processus d’enseignement pour les enseignants et un meilleur processus d’apprentissage pour les élèves. C’était très cool.

Evidemment, ces modèles imbriqués peuvent devenir rapidement complexes. Et c’est pourquoi il est si important d’être clair dans votre esprit et de spécifier dans votre plan analytique quelle est votre unité d’analyse et en quoi elle est identique ou différente de votre unité d’observation. Il s’agit d’une de ces décisions difficiles et compliquées avec lesquelles vous et votre analyste devrez lutter. Passer au travers de cette lutte paie de gros dividendes lorsque vous êtes dans les affres de la tentative de comprendre ce que les données ont à vous dire.

.