- Share on Facebook. This will open a new window.
- Share on Twitter. This will open a new window.
- Share on LinkedIn. This will open a new window.
- Share via Email. This will open a new window.
Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.
Not just jargon
The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:
Study question: ¿Qué se necesita para aumentar el cumplimiento por parte de los proveedores de una nueva directriz de atención clínica?
Un ejemplo de cuando la unidad de análisis es la misma que la unidad de observación: Los proveedores informan de sus opiniones sobre la directriz de atención y su disposición a seguirla en una encuesta o grupo de discusión.
Un ejemplo de cuando la unidad de análisis NO es la misma que la unidad de observación: Los datos se extraen de Epic en función de las visitas clínicas, los pacientes o los procedimientos para evaluar si la directriz de atención clínica se siguió o no en cada caso. Las observaciones se agregan hasta el proveedor para que cada proveedor tenga su propia tasa de cumplimiento. El proveedor es la unidad de análisis, ya que es su comportamiento el que queremos conocer.
La unidad de observación es la fuente de datos que describe su unidad de análisis. En el diagrama siguiente, hay cuatro niveles de observación y análisis posibles: el individuo, el proveedor, la clínica y el hospital. Podríamos añadir más niveles, sin duda. Pero en el trabajo de investigación y mejora de la calidad, a menudo nos movemos entre estos niveles de actividad.
Fig. 1: Posibles unidades de análisis y observación en muchos de nuestros proyectos de investigación o de mejora de la calidad
Por qué es útil conocer la diferencia
En primer lugar, al realizar pruebas estadísticas, el tamaño de la muestra que necesita se basa en la unidad de análisis, no en la unidad de observación. En nuestro ejemplo sobre el cumplimiento de las directrices de atención clínica por parte de los proveedores, tendríamos que recopilar datos de cincuenta proveedores para poder juzgar si estamos cambiando el comportamiento de los proveedores. Pero los datos de los cincuenta proveedores podrían ser la agregación de miles de visitas de pacientes. Si nuestro objetivo es saber si nuestros pacientes experimentan el cumplimiento de las directrices de atención clínica, entonces un índice global es apropiado (no necesitamos saber lo que hacen los proveedores individuales).
Segundo, cuando la unidad de análisis y la unidad de observación son diferentes y nos confundimos con ellas, se pueden cometer ciertos errores:
(a) Armamos un conjunto de datos que no se puede analizar en absoluto porque mezcla diferentes unidades de análisis de manera no sistemática. Existen procedimientos estadísticos que funcionan con datos «mezclados», pero los conjuntos de datos deben configurarse correctamente desde el principio.
(b) Sacamos conclusiones basadas únicamente en la unidad de observación y, como el tamaño de la muestra de este grupo suele ser muy grande, nuestras conclusiones estadísticas son engañosas (es decir, tendrían más probabilidades de ser estadísticamente significativas que las conclusiones basadas en la unidad de análisis).
(c) Cometemos lo que se llama ‘la falacia ecológica’, en la que sacamos conclusiones sobre las unidades de observación estudiando la unidad de análisis. Por ejemplo, si un proveedor cumple en un 70% las directrices de atención clínica y el 30% de las visitas de sus pacientes fueron en clínicas geográficamente distantes, podríamos querer concluir que fueron sobre todo las visitas en las clínicas distantes las que no siguieron las directrices. Pero no tendríamos pruebas de ello. Tendríamos que analizar las observaciones individuales para determinar si eso es cierto. La falacia ecológica se produce cuando asumimos cosas sobre los individuos basándonos en datos a nivel de grupo.
Oh, y entonces la cosa se complica
La figura 1 sugiere una distinción clara entre las diferentes unidades de análisis posibles y las unidades de observación. Pero eso supone que los diferentes niveles de unidades de análisis son realmente independientes entre sí. Esta suposición no suele ser válida.
La figura 2 muestra una perspectiva de la jerarquía social que rodea a los niños a medida que se desarrollan (es la que utiliza la Teoría de Sistemas de Desarrollo). Para estudiar al niño, podría interesarle utilizar la familia o el grupo de pares como unidad de análisis. Y no es difícil imaginar la interacción entre todos estos niveles.
Fig. 2: Modelo de desarrollo infantil de la Teoría de Sistemas del Desarrollo
Por ejemplo, en un estudio en el que tuve la suerte de trabajar, mi maravilloso colega, David Henry, utilizó los grupos de iguales como unidad de análisis para estudiar el comportamiento agresivo de los niños. Recogimos datos de niños de tercer grado en muchas aulas. Se encuestó a los niños sobre su propio comportamiento y las normas de su aula (o grupo de compañeros). David pudo demostrar que el nivel de comportamiento agresivo de los niños estaba impulsado significativamente por las normas del grupo de compañeros y que si se podían cambiar las normas del grupo de compañeros, se podía cambiar el comportamiento del niño hasta cierto punto.
Lo llamó «el potencial de retorno de la agresión», es decir, algunos grupos recompensan el comportamiento agresivo y al hacerlo motivan a los niños a actuar más agresivamente entre ellos de lo que lo harían en caso contrario: había una clara interacción entre el grupo de compañeros y el niño individual. Si el estudio hubiera tratado al niño como la unidad de análisis, habríamos pasado por alto este hallazgo realmente importante.
Así pues, parte del reto de elegir qué unidad de análisis se utiliza es luchar por saber dónde está la acción -el comportamiento de quién se intenta cambiar, qué factores desencadenantes intenta su proyecto de mejora de la calidad y quién sería responsable de reaccionar ante ellos- sabiendo que en realidad hay acción en más de un «nivel» y probablemente alguna interacción entre ellos. David tenía una corazonada muy educada de que había algo que ocurría en el grupo de compañeros que aún no se había explorado completamente y que estaba impulsando el comportamiento individual, así que se centró en eso.
Algunos estudios intentan medir cada nivel y determinar qué lugar de acción es el más efectivo o interesante a posteriori. Un estudio que supervisé hace años era exactamente así: se llevó a cabo en escuelas y recogimos datos de estudiantes, profesores y escuelas. Nuestra unidad de análisis original era el estudiante, pero eso cambió una vez que tuvimos nuestros datos. El plan de muestreo nos permitió pasar a utilizar la escuela como unidad de análisis porque era muy sólida y, de hecho, fue allí donde encontramos las diferencias más interesantes. Entonces pudimos «controlar» ciertas características de los profesores y los alumnos y explorar cómo los diferentes tipos de escuelas permiten un mejor proceso de enseñanza para los profesores y un mejor proceso de aprendizaje para los alumnos. Fue muy interesante.
Obviamente, estos modelos anidados pueden volverse complejos rápidamente. Y por eso es tan importante tener claro en tu mente y especificar en tu plan analítico cuál es tu unidad de análisis y cómo ésta es igual o diferente a tu unidad de observación. Es una de esas decisiones difíciles y complicadas con las que usted y su analista tendrán que luchar. Superar esa lucha da grandes dividendos cuando usted está en la agonía de tratar de averiguar lo que los datos tienen que decir a usted.