What is the unit of analysis and why should I care?

Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.

Not just jargon

The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:

Study question: O que é preciso para aumentar a conformidade do provedor com uma nova diretriz de cuidados clínicos?

Um exemplo de quando a unidade de análise é a mesma que a unidade de observação: Os provedores relatam suas opiniões sobre a diretriz de cuidados e sua vontade de segui-la em um levantamento ou grupo focal.

Um exemplo de quando a unidade de análise NÃO é a mesma que a unidade de observação: Os dados são retirados da Epic com base em visitas clínicas, pacientes ou procedimentos para avaliar se a diretriz de cuidados clínicos foi ou não seguida em cada caso. As observações são agregadas até ao prestador de serviços, de modo a que cada prestador de serviços tenha a sua própria taxa de cumprimento. O provedor é a unidade de análise, já que é sobre seu comportamento que queremos aprender.

A unidade de observação é a fonte de dados que descreve a sua unidade de análise. No diagrama abaixo, há quatro níveis de observação e análise possíveis – o indivíduo, o provedor, a clínica e o hospital. Poderíamos adicionar mais níveis, com certeza. Mas no trabalho de pesquisa e melhoria da qualidade, muitas vezes estamos nos movendo entre essas camadas de atividade.

Fig. 1: Possíveis unidades de análise e observação em muitos de nossos projetos de pesquisa ou melhoria da qualidade

Por que ajuda saber a diferença

Primeiro, ao realizar testes estatísticos, o tamanho da amostra necessária é baseado na unidade de análise, não na unidade de observação. Em nosso exemplo sobre o cumprimento das diretrizes clínicas por parte dos provedores, precisaríamos coletar dados sobre cinqüenta provedores a fim de julgar se estamos mudando o comportamento dos provedores. Mas os dados para os cinquenta prestadores podem ser a agregação de milhares de visitas de pacientes. Se o nosso objetivo é saber se os nossos pacientes estão em conformidade com as diretrizes clínicas, então uma taxa geral é apropriada (não precisamos saber o que os prestadores de serviços individuais fazem).

Segundo, quando a unidade de análise e a unidade de observação são diferentes e estamos confusos sobre elas, certos erros podem ser cometidos:

(a) Nós montamos um conjunto de dados que não pode ser analisado de forma alguma porque mistura diferentes unidades de análise de forma não sistemática. Existem procedimentos estatísticos que funcionam com dados ‘mistos’, mas os conjuntos de dados têm que ser configurados corretamente desde o início.

(b) Tiramos conclusões baseadas apenas na unidade de observação e como o tamanho da amostra para este grupo tende a ser muito grande, nossas conclusões estatísticas são enganosas (ou seja, seria mais provável que elas fossem estatisticamente significativas do que os resultados baseados na unidade de análise).

(c) Comprometemos o que é chamado de ‘falácia ecológica’, no qual tiramos conclusões sobre as unidades de observação através do estudo da unidade de análise. Por exemplo, se um provedor está 70% em conformidade com as diretrizes clínicas e 30% das visitas de seus pacientes foram em clínicas geograficamente distantes, podemos querer concluir que foram principalmente as visitas nas clínicas distantes para as quais as diretrizes não foram seguidas. Mas não teríamos provas disso. Teríamos de analisar as observações individuais para determinar se isso é verdade. A falácia ecológica ocorre quando assumimos coisas sobre indivíduos com base em dados a nível de grupo.

Oh, e depois fica confusa

Figure 1 sugere uma distinção clara entre diferentes unidades possíveis de análise e unidades de observação. Mas isso assume que diferentes níveis de unidades de análise são verdadeiramente independentes umas das outras. Essa suposição geralmente não se mantém.

Figure 2 demonstra uma perspectiva sobre a hierarquia social em torno das crianças à medida que elas se desenvolvem (isto é usado pela Teoria de Sistemas de Desenvolvimento). Para estudar a criança, você pode estar interessado em usar a família ou grupo de pares como a unidade de análise. E não é difícil imaginar a interação entre todos esses níveis.

Fig. 2: Modelo de Teoria de Desenvolvimento de Sistemas da criança

Por exemplo, em um estudo em que tive a sorte de trabalhar, meu maravilhoso colega, David Henry, usou grupos de pares como unidade de análise para estudar o comportamento agressivo em crianças. Nós coletamos dados de crianças de terceira série em muitas salas de aula. As crianças foram pesquisadas sobre seu próprio comportamento e as normas de sua sala de aula (ou grupo de colegas). David foi capaz de mostrar que o nível de comportamento agressivo das crianças era conduzido significativamente pelas normas do grupo de pares e que se você pudesse mudar as normas do grupo de pares, você poderia mudar o comportamento da criança em algum grau.

Ele chamou isso de ‘o potencial de retorno da agressão’, ou seja, alguns grupos recompensam o comportamento agressivo e ao fazer isso motivam as crianças a agirem mais agressivamente umas com as outras do que fariam de outra forma – havia uma clara interação entre o grupo de pares e a criança individual. Se o estudo tratasse a criança como a unidade de análise, teríamos perdido esta descoberta realmente importante.

Assim, parte do desafio na escolha da unidade de análise que você usa é lutar com onde está a ação – cujo comportamento você está tentando mudar, o que desencadeia seu projeto de QI está tentando puxar e quem seria responsável por reagir a eles – sabendo que na realidade há ação em mais de um ‘nível’ e provavelmente alguma interação entre eles. David tinha um palpite muito educado de que havia algo acontecendo no grupo de pares que ainda não havia sido explorado completamente e que estava impulsionando o comportamento individual, então ele se concentrou nisso.

p>alguns estudos tentam medir cada nível e determinar qual o lugar de ação mais eficaz ou interessante depois do fato. Um estudo que supervisionei anos atrás foi exatamente assim – aconteceu nas escolas e nós coletamos dados de alunos, professores e escolas. Nossa unidade original de análise era o aluno, mas isso mudou quando tivemos nossos dados. O plano de amostragem nos permitiu mudar para usar a escola como unidade de análise porque era muito robusta, e de fato foi onde encontramos as diferenças mais interessantes. Conseguimos então ‘controlar’ certas características dos professores e dos alunos e explorar como diferentes tipos de escolas permitem um melhor processo de ensino para os professores e um melhor processo de aprendizagem para os alunos. Foi muito legal.

Obviamente, estes modelos aninhados podem tornar-se complexos rapidamente. E é por isso que é tão importante ser claro em sua mente e especificar em seu plano analítico qual é sua unidade de análise e como isso é o mesmo ou diferente da sua unidade de observação. É uma daquelas decisões difíceis e complicadas com as quais você e seu analista irão lutar. Passar por essa luta traz grandes dividendos quando você está tentando descobrir o que os dados têm a dizer para você.