What is the unit of analysis and why should I care?

Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.

Not just jargon

The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:

Study question:

Příklad, kdy je jednotka analýzy stejná jako jednotka pozorování:

Příklad, kdy jednotka analýzy NENÍ totožná s jednotkou pozorování: Poskytovatelé v průzkumu nebo fokusní skupině uvádějí své názory na pokyn pro péči a ochotu jej dodržovat.

Příklad, kdy jednotka analýzy NENÍ totožná s jednotkou pozorování: Data jsou vybírána ze systému Epic na základě návštěv na klinice, pacientů nebo postupů, aby bylo možné posoudit, zda byl či nebyl v jednotlivých případech dodržován pokyn pro klinickou péči. Pozorování jsou agregována až k poskytovateli, takže každý poskytovatel má svou vlastní míru dodržování. Poskytovatel je jednotkou analýzy, protože právě jeho chování chceme poznat.

Jednotka pozorování je zdroj dat, který popisuje vaši jednotku analýzy. Na níže uvedeném schématu jsou čtyři úrovně možného pozorování a analýzy – jednotlivec, poskytovatel, klinika a nemocnice. Určitě bychom mohli přidat další úrovně. Ve výzkumu a při práci na zlepšování kvality se však často pohybujeme mezi těmito úrovněmi činnosti.

Obr. 1: Možné jednotky analýzy a pozorování v mnoha našich projektech výzkumu nebo zlepšování kvality

Proč pomáhá znát rozdíl

Předně, když provádíte statistické testy, velikost vzorku, kterou potřebujete, vychází z jednotky analýzy, nikoli z jednotky pozorování. V našem příkladu o dodržování pokynů pro klinickou péči poskytovateli bychom potřebovali shromáždit údaje o padesáti poskytovatelích, abychom mohli posoudit, zda měníme jejich chování. Údaje o padesáti poskytovatelích však mohou být agregací tisíců návštěv pacientů. Pokud je naším cílem zjistit, zda u našich pacientů dochází k dodržování pokynů pro klinickou péči, pak je vhodná celková míra (nepotřebujeme vědět, jak postupují jednotliví poskytovatelé).

Druhé, pokud se jednotka analýzy a jednotka pozorování liší a my je zaměňujeme, může dojít k určitým chybám:

(a) Sestavíme soubor dat, který nelze vůbec analyzovat, protože nesystematicky míchá různé jednotky analýzy. Existují statistické postupy, které pracují se „smíšenými“ daty, ale soubory dat musí být od začátku správně sestaveny.

(b) Vyvozujeme závěry pouze na základě jednotky pozorování, a protože velikost vzorku pro tuto skupinu bývá velmi velká, jsou naše statistické závěry zavádějící (to znamená, že by byly statisticky významnější než zjištění založená na jednotce analýzy).

(c) Dopouštíme se tzv. ekologického omylu, kdy vyvozujeme závěry o jednotkách pozorování na základě studia jednotky analýzy. Například pokud poskytovatel ze 70 % dodržuje pokyny pro klinickou péči a 30 % návštěv jeho pacientů se uskutečnilo na geograficky vzdálených klinikách, mohli bychom chtít vyvodit závěr, že to byly především návštěvy na vzdálených klinikách, u nichž nebyly pokyny dodrženy. Neměli bychom však pro to žádný důkaz. Museli bychom analyzovat jednotlivá pozorování, abychom zjistili, zda je to pravda. K ekologickému omylu dochází, když na základě údajů na úrovni skupiny předpokládáme něco o jednotlivcích.

Aha, a pak se to zamotá

Obrázek 1 naznačuje přehledné rozlišení mezi různými možnými jednotkami analýzy a jednotkami pozorování. To však předpokládá, že různé úrovně jednotek analýzy jsou na sobě skutečně nezávislé. Tento předpoklad obvykle neplatí.

Obrázek 2 ukazuje jeden z pohledů na sociální hierarchii kolem dětí v průběhu jejich vývoje (používá jej teorie vývojových systémů). Pro studium dítěte by vás mohlo zajímat použití rodiny nebo skupiny vrstevníků jako jednotky analýzy. A není těžké si představit vzájemné působení všech těchto úrovní.

Obr. 2: Model vývoje dítěte podle vývojové systémové teorie

Například v jedné studii, na které jsem měl to štěstí pracovat, použil můj skvělý kolega David Henry při studiu agresivního chování u dětí jako jednotku analýzy vrstevnické skupiny. Shromáždili jsme údaje od dětí ze třetí třídy v mnoha třídách. Děti byly dotazovány na své vlastní chování a na normy své třídy (nebo vrstevnické skupiny). Davidovi se podařilo prokázat, že míra agresivního chování dětí se významně řídí normami vrstevnické skupiny a že pokud se podaří změnit normy vrstevnické skupiny, lze do jisté míry změnit i chování dítěte.

Nazval to „zpětný potenciál agrese“, to znamená, že některé skupiny odměňují agresivní chování a tím motivují děti k tomu, aby se k sobě chovaly agresivněji, než by se chovaly jinak – existovala zde jasná souhra mezi vrstevnickou skupinou a jednotlivými dětmi. Pokud by studie považovala za jednotku analýzy dítě, toto skutečně důležité zjištění by nám uniklo.

Částí problému při výběru jednotky analýzy, kterou použijete, je tedy boj s tím, kde se odehrává děj – čí chování se snažíte změnit, na jaké spouštěče se váš projekt QI snaží působit a kdo by byl zodpovědný za reakci na ně – s vědomím, že ve skutečnosti probíhá děj na více než jedné „úrovni“ a pravděpodobně mezi nimi existuje určitá souhra. David měl velmi kvalifikované tušení, že ve skupině vrstevníků se děje něco, co dosud nebylo plně prozkoumáno a co řídí chování jednotlivců, a proto se na to zaměřil.

Některé studie se pokoušejí měřit jednotlivé úrovně a dodatečně určit, které místo působení je nejúčinnější nebo nejzajímavější. Studie, na kterou jsem před lety dohlížel, byla přesně taková – probíhala ve školách a sbírali jsme data od studentů, učitelů a škol. Naší původní jednotkou analýzy byl student, ale to se změnilo, jakmile jsme měli k dispozici data. Plán výběru vzorků nám umožnil přejít na používání školy jako jednotky analýzy, protože byla velmi robustní, a skutečně jsme právě tam zjistili nejzajímavější rozdíly. Mohli jsme pak „kontrolovat“ určité charakteristiky učitelů a studentů a zkoumat, jak různé typy škol umožňují lepší proces výuky pro učitele a lepší proces učení pro studenty. Bylo to velmi zajímavé.

Je zřejmé, že tyto vnořené modely se mohou rychle stát složitými. A proto je tak důležité mít v hlavě jasno a ve svém analytickém plánu specifikovat, co je vaše jednotka analýzy a jak je stejná nebo odlišná od jednotky pozorování. Je to jedno z těch těžkých a složitých rozhodnutí, s nimiž budete vy i váš analytik bojovat. Překonání tohoto boje se vám velmi vyplatí, když se budete snažit zjistit, co vám data chtějí říci.