Die Auswertung läuft durch, und in der Spalte mit den p-Werten steht überall etwas über 0,05. Kein Gruppenunterschied, kein Zusammenhang, keine der drei Hypothesen bestätigt. Der erste Gedanke ist fast immer derselbe: Meine Arbeit ist gescheitert. Der zweite, deutlich gefährlichere: Ich könnte noch eine andere Variable ausprobieren.
Beides ist falsch. Ein nicht signifikantes Ergebnis ist ein Ergebnis, und die Note hängt nicht daran, ob deine Hypothese stimmte, sondern daran, wie sauber du geplant, ausgewertet und interpretiert hast. Was du jetzt brauchst, sind vier Dinge: die richtige Deutung des p-Werts, eine ehrliche Einschätzung deiner Teststärke, das passende Verfahren für die Frage «kein Unterschied», und die Absätze, mit denen das in die Diskussion kommt.
Was «nicht signifikant» tatsächlich bedeutet — und was nicht
Ein p-Wert über deinem Signifikanzniveau heisst: Die beobachteten Daten sind mit der Nullhypothese gut vereinbar. Er heisst nicht, dass die Nullhypothese wahr ist, und er heisst schon gar nicht, dass es keinen Effekt gibt.
Der Unterschied ist kein sprachliches Detail. «Es gibt keinen Unterschied» ist eine Aussage über die Welt, die dein Test nicht treffen kann. «Es liess sich kein statistisch bedeutsamer Unterschied nachweisen» ist eine Aussage über deine Studie — und die ist korrekt. Genau diese Formulierung erwartet die Betreuung.
Drei Ursachen kommen für ein nicht signifikantes Ergebnis in Frage, und du solltest alle drei durchgehen, bevor du interpretierst:
- Es gibt tatsächlich keinen nennenswerten Effekt. Ein legitimer und oft unterschätzter Befund.
- Der Effekt existiert, deine Studie konnte ihn nicht finden. Zu kleine Stichprobe, zu viel Messrauschen, zu grobe Skala.
- Etwas an der Umsetzung hat den Effekt verdeckt. Ein unpassendes Instrument, eine Manipulation, die nicht gewirkt hat, ein Deckeneffekt, eine sehr homogene Stichprobe.
Der erste Schritt: schau dir die Effektstärke und das Intervall an
Der p-Wert allein sagt dir nicht, welche der drei Ursachen vorliegt. Zwei Kennzahlen tun das ziemlich gut.
Die Effektstärke zeigt, wie gross der beobachtete Unterschied überhaupt war. Ein nicht signifikantes Ergebnis mit einer Effektstärke nahe null ist etwas völlig anderes als eines mit einer mittleren Effektstärke — im zweiten Fall hattest du wahrscheinlich schlicht zu wenige Fälle.
Das Konfidenzintervall ist hier die informativste Zahl überhaupt, weil es beides gleichzeitig zeigt: Lage und Präzision. Ein Intervall, das eng um die Null liegt, spricht dafür, dass ein grosser Effekt unwahrscheinlich ist. Ein Intervall, das von einem deutlich negativen bis zu einem deutlich positiven Wert reicht, sagt vor allem eines — deine Studie war zu klein, um irgendetwas auszuschliessen. Das ist eine ehrliche und gut begründbare Aussage, und sie ist deutlich mehr wert als ein Satz, der die Null als bestätigt ausgibt.
Der zweite Schritt: Teststärke — aber die richtige
Die naheliegende Reaktion ist, jetzt die Power der Studie auszurechnen. Dabei gibt es eine Falle, die in der Bewertung regelmässig auffällt: Die sogenannte Post-hoc-Power, berechnet aus der beobachteten Effektstärke, ist keine sinnvolle Information. Sie ist eine Funktion des p-Werts und sagt deshalb nichts Neues — bei einem nicht signifikanten Ergebnis fällt sie zwangsläufig niedrig aus. Sie als Erklärung anzuführen ist ein Zirkelschluss.
Nützlich sind stattdessen zwei andere Rechnungen:
- Sensitivitätsanalyse. Bei deiner tatsächlichen Fallzahl und üblicher Teststärke: Welchen Effekt hätte deine Studie mindestens entdecken können? Wenn die Antwort «nur einen grossen Effekt» lautet, hast du eine präzise, nachvollziehbare Limitation — und keine Ausrede.
- Die ursprüngliche Planung offenlegen. Wenn du die Fallzahl vorab bestimmt hast, gehört das in den Methodenteil; wenn du sie nicht erreicht hast, gehört die Differenz in die Limitationen. Zur Herleitung siehe den Beitrag zur Bestimmung der Stichprobe.
Der dritte Schritt: Wenn du «kein Unterschied» wirklich zeigen willst
Manchmal ist die Abwesenheit eines Unterschieds die eigentliche Fragestellung: Ist das neue Verfahren gleich gut wie das etablierte? Macht die kürzere Version des Fragebogens keinen Unterschied? Für solche Fragen ist der klassische Signifikanztest schlicht das falsche Werkzeug — er kann Gleichheit prinzipiell nicht nachweisen.
Das passende Verfahren heisst Äquivalenztest. Die Logik ist umgedreht: Du legst vor der Auswertung fest, welcher Unterschied noch als praktisch bedeutungslos gilt — das ist deine Gleichwertigkeitsgrenze —, und prüfst dann, ob der wahre Effekt innerhalb dieses Bereichs liegt. Technisch geschieht das über zwei einseitige Tests gegen die untere und die obere Grenze. Fallen beide signifikant aus, hast du Äquivalenz gezeigt.
Der anspruchsvolle Teil ist nicht die Rechnung, sondern die Grenze: Sie muss inhaltlich begründet sein — aus der Literatur, aus einer Praxisüberlegung, aus der Messgenauigkeit deines Instruments — und sie muss vor der Analyse stehen. Wer sie hinterher setzt, betreibt genau die Praxis, die im Beitrag zu Präregistrierung, p-Hacking und HARKing beschrieben ist. Für die meisten Bachelorarbeiten ist der Äquivalenztest zu weit gegriffen; die praktikable Zwischenlösung ist, das Konfidenzintervall zu berichten und explizit zu sagen, welche Effektgrössen es noch zulässt.
Was du auf keinen Fall tun solltest
- Weitere Variablen durchprobieren, bis etwas signifikant wird. Das ist die Standarddefinition von p-Hacking, und es ist erkennbar: An einer Fragestellung, zu der die Theorie im ersten Kapitel nichts sagt.
- Die Hypothese nachträglich an das Ergebnis anpassen. Ebenso erkennbar, weil ein Ergebnis, das zufällig gefunden und dann als vorhergesagt ausgegeben wird, in der Diskussion keine Vorgeschichte hat.
- Die Grenze auf 0,10 verschieben, weil 0,07 dann passt. Zulässig ist ein anderes Niveau nur, wenn es vorher festgelegt und begründet wurde.
- Von «tendenziell signifikant» oder «knapp verfehlt» schreiben. Ein p-Wert ist nicht knapp. Wenn du die Nähe erwähnen willst, nenne den exakten Wert und das Intervall und überlass die Einordnung dem Leser.
- Das Ergebnis weglassen. Nicht berichtete Analysen sind der Kern des Publikationsbias — und in einer Abschlussarbeit ausserdem ein Vollständigkeitsmangel.
Die gute Nachricht: Keiner dieser Wege ist nötig. Eine Arbeit mit sauber geplanten, korrekt ausgewerteten und ehrlich diskutierten Nullbefunden wird regelmässig besser bewertet als eine mit drei signifikanten Zufallstreffern ohne theoretische Verankerung.
Warum dein Nullbefund für das Fach nützlich ist
Es gibt einen strukturellen Grund, warum Nullergebnisse in der Literatur unterrepräsentiert sind: Sie werden seltener eingereicht und seltener angenommen als Studien mit klaren Effekten. Diese Schieflage — der Publikationsbias — führt dazu, dass Effekte in Übersichtsarbeiten systematisch überschätzt werden, weil die Studien, die nichts fanden, in Schubladen liegen.
Für deine Abschlussarbeit heisst das zweierlei. Erstens inhaltlich: Ein sauber berichteter Nullbefund ist ein kleiner Beitrag gegen diese Verzerrung, und genau so darfst du ihn in der Diskussion auch benennen. Zweitens methodisch: Wenn du in deiner Literaturübersicht ausschliesslich Studien mit deutlichen Effekten gefunden hast, ist das nicht zwingend die Wahrheit über das Feld — sondern möglicherweise ein Artefakt dieser Auswahl. Diese Vorsicht gehört zur guten wissenschaftlichen Praxis und zeigt, dass du deine eigenen Quellen kritisch liest.
So schreibst du es auf
Im Ergebnisteil berichtest du nüchtern und vollständig — Prüfgrösse, Freiheitsgrade, p-Wert, Effektstärke, Konfidenzintervall. Keine Entschuldigungen, keine Deutung:
«Zwischen den beiden Gruppen zeigte sich kein statistisch bedeutsamer Unterschied in der Studienzufriedenheit, t(198) = 1,22, p = ,224, d = 0,17, 95 %-KI [−0,11; 0,45].»
In der Diskussion ordnest du ein, und zwar in dieser Reihenfolge: Was wurde erwartet, was wurde gefunden, welche der drei Ursachen ist plausibel, was folgt daraus:
«Entgegen der Erwartung liess sich kein Zusammenhang nachweisen. Das Konfidenzintervall schliesst mittlere und grosse Effekte aus, sodass ein praktisch bedeutsamer Zusammenhang in dieser Population unwahrscheinlich erscheint. Denkbar ist zugleich, dass die geringe Streuung der Zufriedenheitswerte — 84 Prozent der Antworten lagen auf den beiden oberen Stufen — einen vorhandenen Unterschied verdeckt hat.»
In den Limitationen nennst du die Sensitivitätsanalyse, die erreichte Fallzahl und alles, was den Effekt hätte verdecken können. Wie diese Bausteine im Kapitel zusammenspielen, zeigt der Beitrag zum Aufbau des Ergebnisteils.
Häufige Fragen
Kann ich mit einem Nullbefund eine gute Note bekommen?
Ja. Bewertet werden Fragestellung, theoretische Herleitung, Methodenwahl, saubere Durchführung und die Qualität der Diskussion — nicht die Richtung des Ergebnisses. Eine gut begründete Nullaussage mit ehrlicher Einordnung ist ein vollwertiges Resultat.
Muss ich alle nicht signifikanten Nebenanalysen berichten?
Alle, die du vorab geplant hattest: ja, vollständig. Explorative Zusatzanalysen kannst du zusammenfassen, musst sie aber als explorativ kennzeichnen. Was du nicht tun darfst, ist eine geplante Analyse verschwinden zu lassen, weil sie nicht passte.
Soll ich nachträglich mehr Daten erheben, bis es signifikant wird?
Nein — Daten so lange nachzuerheben, bis die Grenze unterschritten ist, erhöht die Fehlerrate erheblich. Zulässig ist es, wenn die Erhebung von Anfang an so geplant war (mit entsprechender Korrektur) oder wenn du die Stichprobe vollständig neu und unabhängig auswertest und das transparent machst.
Was, wenn nur eine von drei Hypothesen bestätigt wird?
Das ist der Normalfall und braucht keine Entschuldigung. Berichte alle drei gleichrangig und widerstehe der Versuchung, die bestätigte in den Mittelpunkt zu rücken und die anderen in einem Nebensatz abzuhandeln. Genau dieses Ungleichgewicht fällt in der Bewertung auf.
Ist ein Konfidenzintervall wirklich besser als der p-Wert?
Es enthält mehr Information: die geschätzte Effektgrösse und die Unsicherheit dieser Schätzung. Ob ein Effekt «signifikant» ist, kannst du daran ebenfalls ablesen. Bei Nullbefunden ist es deshalb die aussagekräftigere Angabe — und in vielen Fachrichtungen inzwischen ohnehin gefordert.
Das Wichtigste in drei Sätzen
Ein nicht signifikantes Ergebnis widerlegt nichts und bestätigt nichts — es begrenzt, was plausibel ist. Zeig diese Grenze mit Effektstärke und Konfidenzintervall statt mit einer nachgerechneten Post-hoc-Power, und unterscheide sprachlich sauber zwischen «kein Effekt» und «kein Nachweis». Wer das tut, hat aus einem gefühlten Scheitern ein sauberes Kapitel gemacht.
Und wenn genau dieses Kapitel gerade das schwierigste ist: Tesify führt dich strukturiert durch Ergebnisteil, Diskussion und Limitationen — dorthin, wo aus Zahlen Argumente werden.