What is the unit of analysis and why should I care?

Analysts have words for things that no one else even thinks need words. A couple of my favorite terms in analyst-speak are unit of analysis and unit of observation. I use them a lot and people stare at me when I do.

Not just jargon

The unit of analysis is the entity being studied; the unit of observation is the entity you are collecting data from. They can be the same thing, but often are not. Here is an example:

Study question: Was ist erforderlich, um die Einhaltung einer neuen klinischen Versorgungsleitlinie durch die Leistungserbringer zu verbessern?

Ein Beispiel, bei dem die Analyseeinheit mit der Beobachtungseinheit identisch ist: Die Leistungserbringer berichten in einer Umfrage oder Fokusgruppe über ihre Ansichten über die Versorgungsleitlinie und ihre Bereitschaft, sie zu befolgen.

Ein Beispiel dafür, dass die Analyseeinheit nicht mit der Beobachtungseinheit übereinstimmt: Es werden Daten aus Epic gezogen, die auf Klinikbesuchen, Patienten oder Verfahren basieren, um zu beurteilen, ob die klinische Versorgungsleitlinie in jedem Fall befolgt wurde oder nicht. Die Beobachtungen werden bis zum Leistungserbringer aggregiert, so dass jeder Leistungserbringer seine eigene Erfüllungsquote hat. Der Leistungserbringer ist die Analyseeinheit, denn es ist sein Verhalten, über das wir etwas erfahren wollen.

Die Beobachtungseinheit ist die Datenquelle, die Ihre Analyseeinheit beschreibt. Im folgenden Diagramm gibt es vier mögliche Beobachtungs- und Analyseebenen: das Individuum, der Anbieter, die Klinik und das Krankenhaus. Sicherlich könnten wir noch weitere Ebenen hinzufügen. Aber in der Forschung und bei der Qualitätsverbesserung bewegen wir uns oft zwischen diesen Aktivitätsebenen.

Abbildung 1: Mögliche Analyse- und Beobachtungseinheiten in vielen unserer Forschungs- oder Qualitätsverbesserungsprojekte

Warum es hilfreich ist, den Unterschied zu kennen

Erstens: Bei der Durchführung statistischer Tests richtet sich der erforderliche Stichprobenumfang nach der Analyseeinheit, nicht nach der Beobachtungseinheit. In unserem Beispiel über die Einhaltung der Leitlinien für die klinische Versorgung durch die Leistungserbringer müssten wir Daten über fünfzig Leistungserbringer sammeln, um beurteilen zu können, ob wir das Verhalten der Leistungserbringer verändern. Aber die Daten für die fünfzig Anbieter könnten die Summe von Tausenden von Patientenbesuchen sein. Wenn wir wissen wollen, ob unsere Patienten die Leitlinien für die klinische Versorgung einhalten, dann ist eine Gesamtquote angemessen (wir müssen nicht wissen, was die einzelnen Anbieter tun).

Zweitens, wenn die Analyse- und die Beobachtungseinheit unterschiedlich sind und wir sie verwechseln, können bestimmte Fehler gemacht werden:

(a) Wir stellen einen Datensatz zusammen, der überhaupt nicht analysiert werden kann, weil er verschiedene Analyseeinheiten auf unsystematische Weise vermischt. Es gibt statistische Verfahren, die mit „gemischten“ Daten arbeiten, aber die Datensätze müssen von Anfang an richtig aufgebaut werden.

(b) Wir ziehen Schlussfolgerungen, die nur auf der Beobachtungseinheit beruhen, und da der Stichprobenumfang für diese Gruppe tendenziell sehr groß ist, sind unsere statistischen Schlussfolgerungen irreführend (d. h. sie wären mit größerer Wahrscheinlichkeit statistisch signifikant als die Ergebnisse, die auf der Analyseeinheit beruhen).

(c) Wir begehen den so genannten „ökologischen Trugschluss“, bei dem wir aus der Untersuchung der Analyseeinheit Schlussfolgerungen über die Beobachtungseinheiten ziehen. Wenn beispielsweise ein Leistungserbringer zu 70 % die Leitlinien für die klinische Versorgung einhält und 30 % seiner Patientenbesuche in geografisch weit entfernten Kliniken stattfanden, könnten wir zu dem Schluss kommen, dass es hauptsächlich die Besuche in den weit entfernten Kliniken waren, bei denen die Leitlinien nicht eingehalten wurden. Dafür hätten wir jedoch keine Beweise. Wir müssten die einzelnen Beobachtungen analysieren, um festzustellen, ob dies der Fall ist. Der ökologische Fehlschluss tritt auf, wenn wir auf der Grundlage von Daten auf Gruppenebene etwas über Einzelpersonen annehmen.

Und dann wird es unübersichtlich

Abbildung 1 suggeriert eine saubere Unterscheidung zwischen verschiedenen möglichen Analyseeinheiten und Beobachtungseinheiten. Das setzt aber voraus, dass die verschiedenen Ebenen der Analyseeinheiten wirklich unabhängig voneinander sind. Diese Annahme ist in der Regel nicht zutreffend.

Abbildung 2 veranschaulicht eine Perspektive auf die soziale Hierarchie, die Kinder in ihrer Entwicklung umgibt (diese wird von der Entwicklungssystemtheorie verwendet). Um das Kind zu untersuchen, könnte man die Familie oder die Gleichaltrigengruppe als Analyseeinheit verwenden. Und es ist nicht schwer, sich das Zusammenspiel zwischen all diesen Ebenen vorzustellen.

Abbildung 2: Entwicklungssystemtheoretisches Modell der kindlichen Entwicklung

In einer Studie, an der ich mitarbeiten durfte, verwendete mein wunderbarer Kollege David Henry beispielsweise Gleichaltrigengruppen als Analyseeinheit, um aggressives Verhalten bei Kindern zu untersuchen. Wir sammelten Daten von Kindern der dritten Klasse in vielen Klassenzimmern. Die Kinder wurden zu ihrem eigenen Verhalten und zu den Normen ihres Klassenzimmers (oder ihrer Peer-Gruppe) befragt. David konnte zeigen, dass das Ausmaß des aggressiven Verhaltens der Kinder in erheblichem Maße von den Normen der Gleichaltrigengruppe abhängt und dass man, wenn man die Normen der Gleichaltrigengruppe ändern kann, das Verhalten des Kindes bis zu einem gewissen Grad ändern kann.

Er nannte es das „Rückgabepotenzial der Aggression“, d. h., einige Gruppen belohnen aggressives Verhalten und motivieren die Kinder dadurch, sich untereinander aggressiver zu verhalten, als sie es sonst tun würden – es gab ein klares Wechselspiel zwischen der Gleichaltrigengruppe und dem einzelnen Kind. Hätte die Studie das Kind als Analyseeinheit behandelt, wäre uns dieses wirklich wichtige Ergebnis entgangen.

Teil der Herausforderung bei der Wahl der Analyseeinheit besteht also darin, sich darüber Gedanken zu machen, wo die Handlung stattfindet – wessen Verhalten man zu ändern versucht, welche Auslöser das QI-Projekt zu betätigen versucht und wer für die Reaktion darauf verantwortlich wäre -, wohl wissend, dass in Wirklichkeit auf mehr als einer „Ebene“ gehandelt wird und wahrscheinlich ein gewisses Zusammenspiel zwischen ihnen besteht. David hatte die begründete Vermutung, dass in der Peer-Gruppe etwas vor sich ging, das noch nicht vollständig erforscht worden war und das das Verhalten des Einzelnen beeinflusste, also konzentrierte er sich darauf.

Einige Studien versuchen, jede Ebene zu messen und im Nachhinein festzustellen, welcher Handlungsort der effektivste oder interessanteste ist. Eine Studie, die ich vor Jahren leitete, war genau so – sie fand in Schulen statt und wir sammelten Daten von Schülern, Lehrern und Schulen. Unsere ursprüngliche Analyseeinheit war der Schüler, aber das änderte sich, als wir unsere Daten hatten. Der Stichprobenplan erlaubte es uns, die Schule als Analyseeinheit zu verwenden, weil sie sehr robust war, und in der Tat fanden wir dort die interessantesten Unterschiede. Wir konnten dann bestimmte Merkmale der Lehrer und Schüler „kontrollieren“ und untersuchen, wie verschiedene Schultypen einen besseren Lehrprozess für die Lehrer und einen besseren Lernprozess für die Schüler ermöglichen. Das war sehr cool.

Natürlich können diese verschachtelten Modelle schnell komplex werden. Deshalb ist es so wichtig, sich im Klaren darüber zu sein, was die Analyseeinheit ist und inwiefern sie sich von der Beobachtungseinheit unterscheidet. Dies ist eine dieser schwierigen, komplizierten Entscheidungen, mit denen Sie und Ihr Analytiker zu kämpfen haben werden. Die Überwindung dieses Kampfes zahlt sich aus, wenn Sie versuchen, herauszufinden, was die Daten Ihnen zu sagen haben.