What is the unit of analysis and why should I care?

Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.

Not just jargon

The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:

Study question: Wat is er nodig om de naleving van een nieuwe klinische zorgrichtlijn door zorgverleners te verbeteren?

Een voorbeeld van wanneer de eenheid van analyse hetzelfde is als de eenheid van observatie: Zorgverleners rapporteren hun mening over de zorgrichtlijn en hun bereidheid om deze te volgen in een enquête of focusgroep.

Een voorbeeld van wanneer de eenheid van analyse NIET hetzelfde is als de eenheid van observatie: Er worden gegevens uit Epic gehaald op basis van kliniekbezoeken, patiënten of procedures om te beoordelen of de klinische zorgrichtlijn in elk geval wel of niet werd gevolgd. De waarnemingen worden geaggregeerd tot op het niveau van de zorgverlener, zodat elke zorgverlener zijn eigen nalevingspercentage heeft. De zorgverlener is de eenheid van analyse, omdat het zijn/haar gedrag is waarover we meer willen weten.

De eenheid van waarneming is de gegevensbron die de eenheid van analyse beschrijft. In het onderstaande diagram zijn er vier niveaus van mogelijke waarneming en analyse – het individu, de verstrekker, de kliniek en het ziekenhuis. We zouden zeker meer niveaus kunnen toevoegen. Maar bij onderzoek en kwaliteitsverbetering bewegen we ons vaak tussen deze lagen van activiteit.

Fig. 1: Mogelijke eenheden van analyse en observatie in veel van onze onderzoeks- of kwaliteitsverbeteringsprojecten

Waarom het helpt om het verschil te weten

Ten eerste, als je statistische tests uitvoert, is de steekproefgrootte die je nodig hebt gebaseerd op de eenheid van analyse, niet op de eenheid van observatie. In ons voorbeeld over de naleving van klinische zorgrichtlijnen door zorgverleners, zouden we gegevens van vijftig zorgverleners moeten verzamelen om te kunnen beoordelen of we het gedrag van zorgverleners veranderen. Maar de gegevens voor die vijftig zorgverleners kunnen de optelsom zijn van duizenden patiëntbezoeken. Als ons doel is te weten te komen of onze patiënten de richtlijnen naleven, dan is een algemeen cijfer op zijn plaats (we hoeven niet te weten wat individuele zorgverleners doen).

Ten tweede, wanneer de eenheid van analyse en de eenheid van waarneming verschillend zijn en we daarover verward zijn, kunnen bepaalde fouten worden gemaakt:

(a) We stellen een dataset samen die helemaal niet kan worden geanalyseerd omdat er verschillende eenheden van analyse op een onsystematische manier door elkaar worden gebruikt. Er zijn statistische procedures die werken met ‘gemengde’ gegevens, maar de datasets moeten van meet af aan goed worden opgezet.

(b) We trekken conclusies op basis van alleen de eenheid van waarneming en omdat de steekproefomvang voor deze groep meestal erg groot is, zijn onze statistische conclusies misleidend (dat wil zeggen dat ze statistisch significanter zouden zijn dan de bevindingen op basis van de eenheid van analyse).

(c) We begaan wat wordt genoemd “de ecologische denkfout”, waarbij we conclusies trekken over de eenheden van waarneming door de eenheid van analyse te bestuderen. Als een zorgverlener zich bijvoorbeeld voor 70% aan de richtlijnen voor klinische zorg houdt en 30% van haar patiënten in verafgelegen klinieken bezoekt, zouden we kunnen concluderen dat het vooral de bezoeken in de verafgelegen klinieken zijn die niet aan de richtlijnen voldoen. Maar daar zouden we geen bewijs voor hebben. We zouden de individuele waarnemingen moeten analyseren om te bepalen of dat waar is. De ecologische denkfout doet zich voor wanneer we dingen over individuen veronderstellen op basis van gegevens op groepsniveau.

Oh, en dan wordt het rommelig

Figuur 1 suggereert een keurig onderscheid tussen verschillende mogelijke eenheden van analyse en eenheden van waarneming. Maar dat veronderstelt dat verschillende niveaus van analyse-eenheden werkelijk onafhankelijk van elkaar zijn. Die veronderstelling gaat meestal niet op.

Figuur 2 laat één perspectief zien op de sociale hiërarchie rond kinderen tijdens hun ontwikkeling (dit wordt gebruikt door de Developmental Systems Theory). Om het kind te bestuderen, zou je het gezin of de peergroup als analyse-eenheid kunnen gebruiken. En het is niet moeilijk om je een wisselwerking voor te stellen tussen al deze niveaus.

Fig. 2: Ontwikkelingssysteemtheoretisch model van de ontwikkeling van kinderen

Bij een onderzoek waaraan ik heb mogen meewerken, heeft mijn fantastische collega David Henry bijvoorbeeld peergroups als analyse-eenheid gebruikt om agressief gedrag bij kinderen te bestuderen. We verzamelden gegevens van kinderen uit de derde klas in veel klaslokalen. De kinderen werden ondervraagd over hun eigen gedrag en de normen van hun klas (of peer group). David kon aantonen dat de mate van agressief gedrag van kinderen sterk werd bepaald door de normen van de peer group en dat als je de normen van de peer group kon veranderen, je het gedrag van het kind tot op zekere hoogte kon veranderen.

Hij noemde het ‘het terugkeerpotentieel van agressie’, dat wil zeggen dat sommige groepen agressief gedrag belonen en daarmee kinderen motiveren om zich agressiever tegen elkaar te gedragen dan ze anders zouden doen – er was een duidelijke wisselwerking tussen de peer group en het individuele kind. Als de studie het kind als analyse-eenheid had behandeld, zouden we deze zeer belangrijke bevinding hebben gemist.

Dus, een deel van de uitdaging bij het kiezen van de eenheid van analyse die je gebruikt, is het worstelen met de vraag waar de actie plaatsvindt – wiens gedrag je probeert te veranderen, welke triggers je QI-project probeert uit te lokken en wie verantwoordelijk zou zijn voor het reageren daarop – in de wetenschap dat er in werkelijkheid actie is op meer dan één ‘niveau’ en waarschijnlijk een zekere wisselwerking tussen die niveaus. David had een gefundeerd vermoeden dat er iets gaande was in de peer group dat nog niet volledig was onderzocht en dat individueel gedrag aanstuurde, dus richtte hij zich daarop.

Sommige studies proberen elk niveau te meten en achteraf te bepalen welke plaats van actie het meest effectief of interessant is. Een onderzoek dat ik jaren geleden heb geleid, was precies zo – het vond plaats op scholen en we verzamelden gegevens van leerlingen, leraren en scholen. Onze oorspronkelijke analyse-eenheid was de leerling, maar dat veranderde toen we eenmaal onze gegevens hadden. Dankzij het steekproefplan konden we overschakelen op de school als analyse-eenheid, omdat die zeer robuust was, en daar vonden we inderdaad de interessantste verschillen. We konden toen ‘controleren’ op bepaalde kenmerken van de leraren en de leerlingen en onderzoeken hoe verschillende soorten scholen een beter onderwijsproces voor de leraren en een beter leerproces voor de leerlingen mogelijk maken. Het was heel gaaf.

Het is duidelijk dat deze geneste modellen snel complex kunnen worden. En daarom is het zo belangrijk dat je helder voor ogen hebt en in je analyseplan specificeert wat je analyse-eenheid is en hoe die hetzelfde of verschillend is van je observatie-eenheid. Het is een van die moeilijke, ingewikkelde beslissingen waar u en uw analist mee zullen worstelen. Als je die worsteling doorstaat, levert dat veel op wanneer je probeert uit te vinden wat de gegevens je te zeggen hebben.