Du hast dieselben Personen zweimal befragt: einmal vor der Schulung, einmal danach. Der Mittelwert ist gestiegen. Die Versuchung, daraus «Die Massnahme wirkt» zu machen, ist gross — und genau an dieser Stelle entscheidet sich, ob dein Methodenteil hält.
Ein Prä-Post-Design ist ein starkes Werkzeug, weil jede Person ihre eigene Vergleichsgrundlage bildet. Es ist gleichzeitig das Design, in dem sich Studierende am häufigsten mehr Aussagekraft zuschreiben, als es hergibt. Dieser Beitrag klärt beides: warum das Design stark ist, wo seine Grenze liegt, und welches Verfahren zu welcher Variante gehört.
Warum ein Messwiederholungsdesign stärker ist als ein Gruppenvergleich
Wenn du zwei getrennte Gruppen vergleichst, geht ein grosser Teil der Streuung auf Unterschiede zwischen den Personen zurück: Vorwissen, Motivation, Tagesform. Diese Streuung landet im Fehlerterm und macht es schwer, den eigentlichen Effekt zu erkennen.
Misst du dieselben Personen mehrfach, rechnest du die Personenunterschiede heraus. Jede Person wird mit sich selbst verglichen, und der Fehlerterm schrumpft. Die praktische Folge: Ein Messwiederholungsdesign braucht für denselben Effekt deutlich weniger Fälle als ein Gruppenvergleich — oft weniger als die Hälfte. Für eine Abschlussarbeit mit begrenzter Feldzeit ist das häufig der Unterschied zwischen einer auswertbaren und einer nicht auswertbaren Studie.
Und warum das allein noch kein Wirkungsnachweis ist
Ein Anstieg zwischen zwei Messzeitpunkten hat mindestens fünf mögliche Ursachen, und deine Intervention ist nur eine davon:
- Reifung. Die Teilnehmenden entwickeln sich ohnehin weiter — sie lernen, altern, gewöhnen sich ein. Über ein Semester hinweg ist das kein Randeffekt.
- Testeffekt. Wer denselben Fragebogen zum zweiten Mal ausfüllt, antwortet anders: schneller, konsistenter, manchmal im Sinn der vermuteten Erwartung.
- Regression zur Mitte. Der zuverlässigste Trugschluss überhaupt. Wählst du Personen wegen extremer Ausgangswerte aus — die Schwächsten, die Belastetsten —, liegen sie bei der zweiten Messung schon aus rein statistischen Gründen näher am Mittelwert. Ganz ohne Intervention.
- Äussere Ereignisse. Zwischen den Messzeitpunkten passiert etwas: eine Reorganisation, eine Prüfungsphase, eine Nachrichtenlage.
- Ausfälle. Wer beim zweiten Termin fehlt, fehlt selten zufällig. Bleiben vor allem die Motivierten übrig, steigt der Mittelwert, ohne dass sich bei einer einzigen Person etwas geändert hätte.
Das Ein-Gruppen-Prä-Post-Design kann keine dieser Alternativen ausschliessen. Es ist trotzdem ein legitimes Design für eine Bachelorarbeit — solange du im Diskussionsteil benennst, welche Erklärungen offen bleiben. Was es nicht verträgt, ist die Formulierung «hat bewirkt».
Die drei Varianten
Ein-Gruppen-Prä-Post. Eine Gruppe, zwei Zeitpunkte. Einfach zu organisieren, schwach in der internen Validität. Geeignet für explorative Fragestellungen und Machbarkeitsprüfungen.
Prä-Post mit Kontrollgruppe. Zwei Gruppen, zwei Zeitpunkte, nur eine Gruppe erhält die Massnahme. Damit sind Reifung, Testeffekt und äussere Ereignisse kontrolliert — sie treffen beide Gruppen gleichermassen. Das ist der Standard, wenn du von Wirkung sprechen willst. Ohne Randomisierung bleibt es ein Quasi-Experiment: Die Gruppen können sich von Anfang an unterschieden haben, und du prüfst und berichtest die Ausgangswerte deshalb explizit.
Mehr als zwei Zeitpunkte. Prä, Post und ein Follow-up nach einigen Wochen. Der Zusatzaufwand ist gering, der Erkenntnisgewinn gross: Erst das Follow-up zeigt, ob ein Effekt Bestand hat oder nach der Schulungswoche wieder verschwindet.
Welches Verfahren zu welcher Variante gehört
Zwei Zeitpunkte, eine Gruppe
Der t-Test für abhängige Stichproben (in SPSS: Analysieren → Mittelwerte vergleichen → t-Test bei verbundenen Stichproben). Er testet nicht die beiden Mittelwerte gegeneinander, sondern die Differenzen gegen null. Die Normalverteilungsannahme betrifft deshalb die Differenzwerte, nicht die Rohwerte — ein Punkt, den viele Arbeiten falsch prüfen.
Sind die Differenzen deutlich schief oder die Stichprobe klein, ist der Wilcoxon-Vorzeichen-Rang-Test die nichtparametrische Entsprechung. Als Effektstärke berichtest du Cohens d für abhängige Stichproben.
Drei oder mehr Zeitpunkte
Die Varianzanalyse mit Messwiederholung (Analysieren → Allgemeines lineares Modell → Messwiederholung). Hier kommt eine zusätzliche Voraussetzung ins Spiel: die Sphärizität. Sie verlangt, dass die Varianzen aller Differenzen zwischen je zwei Zeitpunkten gleich sind. Geprüft wird sie mit dem Mauchly-Test.
Wird Mauchly signifikant, wechselst du nicht das Verfahren — du korrigierst die Freiheitsgrade. SPSS gibt die korrigierten Zeilen direkt mit aus: Greenhouse-Geisser (konservativer, die übliche Wahl) oder Huynh-Feldt (weniger streng, sinnvoll wenn die Abweichung gering ist). Berichte, welche Korrektur du verwendet hast, und gib die korrigierten Freiheitsgrade an — sie sind dann keine ganzen Zahlen mehr, und das ist korrekt so.
Die nichtparametrische Alternative für drei und mehr abhängige Messungen ist der Friedman-Test.
Zwei Gruppen und zwei Zeitpunkte
Das ist die gemischte Varianzanalyse: ein Innersubjektfaktor (Zeit) und ein Zwischensubjektfaktor (Gruppe). Und hier steht der wichtigste Satz dieses Abschnitts: Deine Hypothese ist die Interaktion, nicht der Haupteffekt.
Der Haupteffekt Zeit sagt nur, dass sich alle zusammen verändert haben. Der Haupteffekt Gruppe sagt nur, dass eine Gruppe insgesamt höher liegt. Die Aussage «Die Massnahme wirkt» steckt ausschliesslich in der Wechselwirkung Zeit × Gruppe: Die Interventionsgruppe verändert sich anders als die Kontrollgruppe. Ist die Interaktion nicht signifikant, hast du keinen Wirkungsnachweis — auch dann nicht, wenn der Prä-Post-Vergleich innerhalb der Interventionsgruppe für sich genommen signifikant ausfällt.
Dieser Fehler — signifikanter Effekt in der einen Gruppe, nicht signifikanter in der anderen, daraus ein Unterschied zwischen den Gruppen abgeleitet — ist einer der häufigsten in empirischen Abschlussarbeiten. Ein Profildiagramm der beiden Verläufe gehört deshalb in jede solche Arbeit; es zeigt sofort, ob die Linien tatsächlich auseinanderlaufen.
Der Datensatz: eine Zeile pro Person
Für eine Messwiederholungsanalyse in SPSS brauchst du das Breitformat: eine Zeile pro Person, ein Spaltenpaar pro Messzeitpunkt. Kommen deine Daten aus einem Online-Fragebogen mit zwei getrennten Erhebungen, liegen sie im Langformat vor — zwei Zeilen pro Person — und müssen zusammengeführt werden.
Dafür brauchst du einen Code, der dieselbe Person über beide Zeitpunkte hinweg identifiziert, ohne sie zu identifizieren. Der übliche Weg ist ein selbstgenerierter Teilnehmendencode: erste zwei Buchstaben des Vornamens der Mutter, Geburtstag im Monat, letzter Buchstabe des eigenen Vornamens. Das ist reproduzierbar, für dich nicht auflösbar und funktioniert auch bei anonymen Online-Befragungen.
Wer diesen Code vergisst, kann die Daten nicht paaren — und damit die Auswertung, für die er die Erhebung überhaupt zweimal gemacht hat, nicht rechnen. Das ist der teuerste vermeidbare Fehler in diesem Design. Kläre gleichzeitig, was der doppelte Kontakt für Einwilligung und Datenschutz bedeutet: Ein Code, der zwei Erhebungen verknüpft, ist nicht mehr vollständig anonym.
Was in den Methodenteil gehört
Fünf Angaben, die eine Leserin sonst nachfragen muss: der zeitliche Abstand zwischen den Messungen und seine Begründung; das Verfahren der Paarung; die Ausfallquote zwischen den Zeitpunkten; ein Vergleich der Ausgangswerte von Verbliebenen und Ausgefallenen; und bei einer Kontrollgruppe der Nachweis, dass sich die Gruppen zum ersten Messzeitpunkt nicht unterschieden.
Der Dropout-Vergleich ist der Absatz, der eine gute Arbeit von einer sehr guten trennt. Er kostet zwei t-Tests und entzieht dem häufigsten Einwand die Grundlage.
Der Ergebnissatz
«Von 68 Personen des ersten Messzeitpunkts nahmen 54 auch am zweiten teil (Ausfallquote 20,6 %); Verbliebene und Ausgefallene unterschieden sich im Ausgangswert nicht signifikant (p = 0,37). Eine gemischte Varianzanalyse ergab eine signifikante Wechselwirkung von Zeit und Gruppe, F(1, 52) = 8,12, p = 0,006, η²ₚ = 0,135. Die Interventionsgruppe verbesserte sich von M = 3,41 (SD = 0,62) auf M = 3,88 (SD = 0,57), die Kontrollgruppe blieb praktisch unverändert (M = 3,38 auf M = 3,42).»
Häufige Fragen
Wie viele Fälle brauche ich für ein Prä-Post-Design?
Weniger als für einen Gruppenvergleich, aber der genaue Bedarf hängt von der Korrelation zwischen den Messzeitpunkten ab: je höher diese Korrelation ist, desto weniger Fälle brauchst du. Für einen mittleren Effekt und zwei Zeitpunkte liegen realistische Werte bei etwa 30 bis 40 Personen. Rechne die nötige Fallzahl vor der Erhebung durch, statt hinterher zu erklären, warum nichts signifikant wurde.
Was mache ich mit Personen, die nur einmal teilgenommen haben?
Für den gepaarten Test fallen sie heraus. Wirf sie trotzdem nicht aus der Beschreibung: Sie gehören in das Flussdiagramm der Stichprobe und in den Dropout-Vergleich. Fehlende Werte einfach durch den Mittelwert zu ersetzen, ist in diesem Design keine gute Idee — es täuscht Stabilität vor.
Reicht ein Abstand von zwei Wochen?
Das hängt davon ab, was du misst. Zu kurz, und der Testeffekt dominiert; zu lang, und Reifung sowie Ausfälle nehmen zu. Bei Wissenstests sind vier bis sechs Wochen üblich, bei Einstellungen eher länger. Entscheidend ist, dass du den Abstand begründest, statt ihn nur zu nennen.
Kann ich statt der Messwiederholungs-ANOVA einfach Differenzwerte rechnen?
Bei genau zwei Zeitpunkten ja — ein t-Test über die Differenzen ist mathematisch dasselbe wie der gepaarte t-Test. Bei zwei Gruppen und zwei Zeitpunkten liefert ein t-Test über die Differenzwerte zwischen den Gruppen dasselbe Ergebnis wie die Interaktion der gemischten ANOVA. Ab drei Zeitpunkten funktioniert der Trick nicht mehr.
Und wenn ich gar keine Kontrollgruppe organisieren kann?
Dann bleibt das Ein-Gruppen-Design, und du machst aus der Begrenzung einen bewussten Teil der Arbeit: Benenne die Alternativerklärungen einzeln, argumentiere für jede, wie plausibel sie in deinem Fall ist, und formuliere die Ergebnisse als Veränderung, nicht als Wirkung. Eine Arbeit, die ihre Grenzen präzise kennt, wird besser bewertet als eine, die sie überspielt.
Die Kurzfassung
Messwiederholung spart Fälle, weil jede Person ihre eigene Kontrolle ist. Ohne Kontrollgruppe bleibt sie ein Veränderungsnachweis, kein Wirkungsnachweis. Zwei Zeitpunkte: gepaarter t-Test oder Wilcoxon. Drei und mehr: Messwiederholungs-ANOVA mit Mauchly-Test und gegebenenfalls Greenhouse-Geisser-Korrektur. Zwei Gruppen und zwei Zeitpunkte: die Interaktion ist die Hypothese. Und vor allem: den Teilnehmendencode planen, bevor die erste Erhebung startet. Welcher Test in welcher Konstellation passt, lässt sich auch für unabhängige Gruppen derselben Logik folgend entscheiden.
Wenn du das Design gerade planst und den Methodenteil dazu schreiben musst: Tesify baut das Kapitel mit dir auf — inklusive der Absätze zu Dropout und Voraussetzungsprüfung, die sonst vergessen gehen.