- Share on Facebook. This will open a new window.
- Share on Twitter. This will open a new window.
- Share on LinkedIn. This will open a new window.
- Share via Email. This will open a new window.
Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.
Not just jargon
The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:
Study question: Cosa serve per aumentare l’adesione dei fornitori a una nuova linea guida di assistenza clinica?
Un esempio di quando l’unità di analisi è la stessa dell’unità di osservazione: I fornitori riportano le loro opinioni sulla linea guida e la loro volontà di seguirla in un sondaggio o in un focus group.
Un esempio di quando l’unità di analisi NON è la stessa dell’unità di osservazione: I dati vengono estratti da Epic in base alle visite cliniche, ai pazienti o alle procedure per valutare se la linea guida di assistenza clinica è stata seguita o meno in ogni caso. Le osservazioni sono aggregate fino al fornitore in modo che ogni fornitore abbia il proprio tasso di conformità. Il fornitore è l’unità di analisi, poiché è il suo comportamento che vogliamo conoscere.
L’unità di osservazione è la fonte di dati che descrive l’unità di analisi. Nel diagramma qui sotto, ci sono quattro livelli di osservazione e analisi possibili – l’individuo, il fornitore, la clinica e l’ospedale. Potremmo aggiungere altri livelli, di sicuro. Ma nel lavoro di ricerca e di miglioramento della qualità, ci muoviamo spesso tra questi livelli di attività.
Fig. 1: Possibili unità di analisi e di osservazione in molti dei nostri progetti di ricerca o di miglioramento della qualità
Perché è utile conoscere la differenza
In primo luogo, quando si conducono test statistici, la dimensione del campione necessaria si basa sull’unità di analisi, non su quella di osservazione. Nel nostro esempio sulla conformità dei fornitori alle linee guida di assistenza clinica, avremmo bisogno di raccogliere dati su cinquanta fornitori per giudicare se stiamo cambiando il comportamento dei fornitori. Ma i dati per i cinquanta fornitori potrebbero essere l’aggregazione di migliaia di visite di pazienti. Se il nostro obiettivo è sapere se i nostri pazienti sperimentano la conformità alle linee guida di assistenza clinica, allora un tasso complessivo è appropriato (non abbiamo bisogno di sapere cosa fanno i singoli fornitori).
In secondo luogo, quando l’unità di analisi e l’unità di osservazione sono diverse e ci si confonde su di esse, si possono commettere alcuni errori:
(a) Mettiamo insieme un dataset che non può essere analizzato affatto perché mescola diverse unità di analisi in modo non sistematico. Ci sono procedure statistiche che funzionano con dati “misti”, ma i set di dati devono essere impostati correttamente fin dall’inizio.
(b) Traiamo conclusioni basate solo sull’unità di osservazione e poiché la dimensione del campione per questo gruppo tende ad essere molto grande, le nostre conclusioni statistiche sono fuorvianti (cioè, avrebbero più probabilità di essere statisticamente significative dei risultati basati sull’unità di analisi).
(c) Commettiamo la cosiddetta “fallacia ecologica”, in cui traiamo conclusioni sulle unità di osservazione studiando l’unità di analisi. Per esempio, se un fornitore è al 70% conforme alle linee guida di assistenza clinica e il 30% delle sue visite ai pazienti sono state effettuate in cliniche geograficamente lontane, potremmo voler concludere che sono state soprattutto le visite nelle cliniche lontane a non essere seguite. Ma non avremmo alcuna prova di questo. Avremmo bisogno di analizzare le singole osservazioni per determinare se questo è vero. La fallacia ecologica si verifica quando assumiamo cose sugli individui sulla base di dati a livello di gruppo.
Oh, e poi diventa un casino
La figura 1 suggerisce una distinzione netta tra diverse possibili unità di analisi e unità di osservazione. Ma questo presuppone che i diversi livelli di unità di analisi siano veramente indipendenti l’uno dall’altro. Questo presupposto di solito non regge.
La figura 2 mostra una prospettiva sulla gerarchia sociale intorno ai bambini durante il loro sviluppo (questa è usata dalla Teoria dei Sistemi di Sviluppo). Per studiare il bambino, si potrebbe essere interessati ad usare la famiglia o il gruppo dei pari come unità di analisi. E non è difficile immaginare un’interazione tra tutti questi livelli.
Fig. 2: Modello della teoria dei sistemi di sviluppo del bambino
Per esempio, in uno studio a cui ho avuto la fortuna di lavorare, il mio meraviglioso collega David Henry ha usato i gruppi di pari come unità di analisi per studiare il comportamento aggressivo nei bambini. Abbiamo raccolto dati da bambini di terza elementare in molte classi. I bambini sono stati intervistati sul loro comportamento e sulle norme della loro classe (o gruppo di pari). David è stato in grado di dimostrare che il livello di comportamento aggressivo dei bambini era guidato in modo significativo dalle norme del gruppo dei pari e che se si potevano cambiare le norme del gruppo dei pari, si poteva cambiare il comportamento del bambino in una certa misura.
L’ha chiamato ‘il potenziale di ritorno dell’aggressività’, cioè, alcuni gruppi premiano il comportamento aggressivo e così facendo motivano i bambini ad agire in modo più aggressivo gli uni verso gli altri di quanto non farebbero altrimenti – c’era una chiara interazione tra il gruppo dei pari e il singolo bambino. Se lo studio avesse trattato il bambino come unità di analisi, ci saremmo persi questa scoperta davvero importante.
Quindi, parte della sfida nella scelta dell’unità di analisi da usare è lottare per capire dove si trova l’azione – di chi è il comportamento che si sta cercando di cambiare, quali sono i fattori scatenanti che il progetto QI sta cercando di provocare e chi sarebbe responsabile di reagire ad essi – sapendo che in realtà c’è azione a più di un “livello” e probabilmente qualche interazione tra loro. David aveva un’intuizione molto educata che c’era qualcosa che stava succedendo nel gruppo di pari che non era ancora stato esplorato a fondo e che stava guidando il comportamento individuale, così si è concentrato su quello.
Alcuni studi tentano di misurare ogni livello e determinare quale luogo di azione è il più efficace o interessante dopo il fatto. Uno studio che ho supervisionato anni fa era esattamente così – si è svolto nelle scuole e abbiamo raccolto dati da studenti, insegnanti e scuole. La nostra unità di analisi originale era lo studente, ma questo è cambiato una volta che abbiamo avuto i nostri dati. Il piano di campionamento ci ha permesso di passare a usare la scuola come unità di analisi perché era molto robusto, e infatti è lì che abbiamo trovato le differenze più interessanti. Siamo stati quindi in grado di ‘controllare’ alcune caratteristiche degli insegnanti e degli studenti e di esplorare come i diversi tipi di scuole consentano un migliore processo di insegnamento per gli insegnanti e un migliore processo di apprendimento per gli studenti. È stato molto bello.
Ovviamente, questi modelli annidati possono diventare rapidamente complessi. Ed è per questo che è così importante avere chiaro in mente e specificare nel piano analitico quale sia la vostra unità di analisi e come questa sia uguale o diversa dalla vostra unità di osservazione. È una di quelle decisioni difficili e complicate che voi e il vostro analista dovrete affrontare. Superare quella lotta paga grandi dividendi quando siete alle prese con il tentativo di capire cosa i dati hanno da dirvi.