Pretest und Pilotstudie für den Fragebogen der Bachelorarbeit 2026: kognitive Interviews, Ablauf und Dokumentation

Der Fragebogen ist fertig, die Einladung ist formuliert, der Link steht bereit – und genau jetzt solltest du die Befragung noch nicht verschicken. Fragen, die dir selbstverständlich erscheinen, werden von anderen anders verstanden; Antwortkategorien überschneiden sich; ein Filter funktioniert online nicht wie geplant. Solche Fehler fallen erst auf, wenn jemand den Fragebogen ausfüllt, und danach lassen sie sich nicht mehr beheben. Deshalb gehört vor die Hauptbefragung ein Pretest – und, wenn Zeit und Zugang es erlauben, eine Pilotstudie. Dieser Beitrag erklärt den Unterschied, zeigt den Ablauf eines Pretests mit kognitiven Interviews und liefert ein Muster, wie du beides im Methodenteil dokumentierst.

Er richtet sich an Studierende, die eine quantitative Befragung für ihre Bachelorarbeit planen – in BWL, Psychologie, Sozialer Arbeit, Pädagogik, Pflege oder Marketing. Die Beispiele sind erfunden und dienen der Illustration. Wie du einen Fragebogen grundsätzlich aufbaust, steht im Beitrag zum Fragebogen für die Abschlussarbeit.

Pretest, Pilotstudie, Hauptstudie: die Unterschiede

Pretest Pilotstudie Hauptstudie
Ziel Fragen auf Verständlichkeit, Eindeutigkeit und Funktion prüfen Das gesamte Vorgehen auf Machbarkeit prüfen (Zugang, Rücklauf, Dauer, Auswertung) Forschungsfrage beantworten
Stichprobe Wenige Personen aus der Zielgruppe oder fachnahe Personen Kleine Stichprobe aus der Zielgruppe, die nicht in der Hauptstudie erscheint Vollständige Stichprobe
Ergebnis Überarbeiteter Fragebogen Überarbeitetes Vorgehen und ein erster Datensatz zum Üben der Auswertung Daten für die Hypothesentests
Aufwand Gering, ein bis zwei Wochen Mittel, zwei bis drei Wochen Gross

Die Begriffe werden in der Literatur nicht überall gleich verwendet. Thabane und Kolleginnen (2010) beschreiben in BMC Medical Research Methodology 10 in einem Tutorial, wozu Pilotstudien dienen – nämlich der Prüfung der Machbarkeit eines geplanten Vorgehens –, und Lancaster, Dodd und Williamson (2004) geben im Journal of Evaluation in Clinical Practice 10(2), 307–312 Empfehlungen für Planung und Auswertung. Für deine Arbeit genügt eine klare Festlegung: Was nennst du Pretest, was Pilotstudie, und was prüfst du damit? Schreibe das in der Methodik.

Drei Personen füllen Fragebögen am Tablet aus, daneben eine Stoppuhr
Eine kleine Probegruppe zeigt, wie lange der Fragebogen dauert und wo Befragte stocken.

Der Pretest in vier Schritten

1. Expertenreview

Gib den Fragebogen einer Fachperson (Betreuungsperson, Fachkollegin, Praxispartner) und bitte um Rückmeldung zu Inhalt und Vollständigkeit: Deckt der Fragebogen die Konstrukte der Hypothesen ab? Sind Begriffe fachlich korrekt? Fehlen wichtige Antwortoptionen? Halte die Rückmeldungen in einer Tabelle fest. Bitte die Person ausdrücklich um kritische Hinweise zu Fragen, die sie selbst nicht beantworten könnte oder die mehrdeutig sind.

2. Kognitiver Pretest mit Probanden

Kognitive Interviews prüfen, wie Befragte die Fragen verstehen. Das Verfahren ist in der Umfrageforschung etabliert; Beatty und Willis (2007) geben in Public Opinion Quarterly 71(2), 287–311 einen Überblick über die Praxis des kognitiven Interviewens. Zwei Techniken sind verbreitet: Lautes Denken (die Person spricht aus, was sie beim Beantworten denkt) und gezieltes Nachfragen (Probing: „Was verstehen Sie unter …?“, „Wie sind Sie auf diese Antwort gekommen?“). Für eine Bachelorarbeit genügen in der Praxis wenige Personen aus der Zielgruppe; wichtiger als die Zahl ist die Vielfalt (Alter, Vorwissen, Funktion). Im deutschsprachigen Raum gibt der Sammelband „Was ist eine gute Frage?“ (Faulbaum, Prüfer & Rexroth, 2009, VS Verlag) eine Einführung in die Gestaltung und Prüfung von Fragen.

Beispiele für Nachfragen (illustrativ), die du zu einzelnen Fragen stellen kannst: „Können Sie die Frage in eigenen Worten wiedergeben?“ – „Woran haben Sie bei dem Wort ‚Führung‘ gedacht?“ – „War es schwierig, eine Antwort zu finden? Warum?“ – „Hätte eine Antwortmöglichkeit gefehlt?“ – „Würden Sie die Frage anders formulieren?“ Notiere Antworten und Zögern; gerade Pausen und Nachfragen der Testperson zeigen, wo eine Frage hakt.

Wie findest du Testpersonen? Frage im Betrieb, im Verein oder in der Klasse nach zwei bis fünf Personen, die der Zielgruppe entsprechen, aber nicht an der Hauptbefragung teilnehmen werden. Erkläre den Zweck („Ich teste den Fragebogen, nicht Sie“), plane etwa 30 bis 45 Minuten ein und bedanke dich. Tonaufnahmen sind nur mit Einwilligung zulässig; Notizen genügen für eine Bachelorarbeit meist.

3. Probebefragung (Standard-Pretest)

Lass den Fragebogen unter Realbedingungen ausfüllen – so, wie die Hauptbefragung abläuft (online, auf Papier, am Tablet). Miss die Bearbeitungsdauer, achte auf Abbrüche und prüfe, ob die Filterführung funktioniert. Bei Online-Befragungen testest du zusätzlich auf verschiedenen Geräten (Smartphone, Laptop) und in verschiedenen Browsern. Klicke dich durch jeden Filterpfad: Wer „nein“ antwortet, darf die Folgefragen nicht sehen, und wer „ja“ antwortet, muss sie sehen.

4. Überarbeiten und dokumentieren

Fasse alle Probleme in einem Änderungsprotokoll zusammen und passe den Fragebogen an. Wenn eine Frage stark verändert wird, teste sie noch einmal mit einer weiteren Person. Sortiere die Rückmeldungen dabei nach Dringlichkeit: Was muss geändert werden, weil Befragte die Frage falsch verstehen (Muss)? Was verbessert die Qualität, ist aber nicht zwingend (Soll)? Was ist Geschmackssache (Kann)? So verlierst du dich nicht in Details und konzentrierst dich auf das, was die Datenqualität wirklich beeinflusst.

Online-Befragung technisch testen

Die meisten Bachelorarbeiten setzen auf Online-Tools. Prüfe vor dem Versand diese Punkte, am besten auf mindestens zwei Geräten: Öffnet sich der Link ohne Anmeldung? Wird die Einleitung mit Datenschutzhinweis und Einwilligung zuerst angezeigt? Sind Pflichtfelder sinnvoll gesetzt (nicht bei sensiblen Fragen)? Funktionieren Filter und Sprünge in allen Pfaden? Werden Skalen auf dem Smartphone vollständig dargestellt oder müssen Befragte seitwärts scrollen? Wird der Fortschrittsbalken korrekt angezeigt? Landen die Antworten tatsächlich im Datensatz, und lässt sich dieser exportieren? Füll den Fragebogen mindestens einmal komplett aus und kontrolliere die Exportdatei: Stimmen Variablennamen, Codierung der Antworten und Zeitstempel? Lösche danach die Testantworten aus dem Datensatz, damit sie nicht in die Hauptdaten gelangen.

Checkliste für die Prüfung jedes Items

  • Verständlichkeit: Einfache Sprache, keine Fachbegriffe ohne Erklärung, kurze Sätze.
  • Eindeutigkeit: Nur eine Aussage pro Frage – keine „doppelten Fragen“ („Wie zufrieden sind Sie mit Bezahlung und Arbeitszeit?“).
  • Neutralität: Keine Suggestivformulierungen.
  • Antwortkategorien: Vollständig, überschneidungsfrei, mit sinnvollen Endpunkten.
  • Skalenformat: Einheitlich innerhalb einer Skala; Beschriftung der Stufen.
  • Reihenfolge: Einfache Fragen zuerst, sensible später, demografische Angaben am Ende.
  • Dauer und Ermüdung: Ist die Länge zumutbar?
  • Technik: Filter, Pflichtfelder, Anzeige auf mobilen Geräten.

Beispiel: Änderungsprotokoll (illustrativ)

Das folgende Protokoll ist erfunden. Es zeigt, wie du die Ergebnisse des Pretests in der Arbeit nachvollziehbar machst.

Nr. Originalfrage Befund aus dem Pretest Änderung
7 Wie zufrieden sind Sie mit der Kommunikation und Information im Team? Zwei von fünf Personen verstanden „Information“ als Informationsfluss der Geschäftsleitung, nicht des Teams; doppelte Frage In zwei Fragen aufgeteilt: Kommunikation im Team; Information durch die Geschäftsleitung
12 Wie oft arbeiten Sie im Homeoffice? (nie / selten / oft / immer) „Selten“ und „oft“ wurden sehr unterschiedlich interpretiert Konkrete Kategorien: nie / bis zu 1 Tag pro Woche / 2–3 Tage / 4–5 Tage
18 Skala 1–5 ohne Beschriftung der mittleren Stufen Unsicherheit über die Bedeutung von 2 und 4 Alle Stufen beschriftet
Gesamt Bearbeitungsdauer Im Durchschnitt 14 Minuten; Fragebogen länger als angekündigt Zwei redundante Fragen gestrichen, Angabe auf „ca. 10 Minuten“ angepasst
Tabelle mit durchgestrichenen und neu formulierten Fragen, rote Stifte und Haftnotizen
Das Änderungsprotokoll zeigt, was geändert wurde und warum.

Pretest bei übernommenen Skalen und bei eigenen Items

Hast du eine validierte Skala übernommen, dürfen die Items nicht nach Belieben umformuliert werden – sonst verlierst du die Vergleichbarkeit mit der Originalliteratur. Der Pretest prüft dann, ob die Items für deine Zielgruppe verständlich sind, ob die Sprachfassung passt und ob die Technik funktioniert. Entdeckst du ein Problem, dokumentierst du es und entscheidest begründet: Item beibehalten und Einschränkung nennen oder Item anpassen und die Änderung offenlegen. Hast du eigene Items formuliert, ist der Pretest die einzige Möglichkeit, Verständlichkeit und Eindeutigkeit zu sichern, bevor Daten erhoben werden; hier lohnt sich ein kognitiver Pretest besonders.

Ein häufiger Kompromiss in Bachelorarbeiten: validierte Skalen für die zentralen Konstrukte, eigene Items für Kontextfragen (zum Beispiel zur Nutzung eines Angebots im Betrieb). Teste beides, begründe aber die Herkunft jedes Items im Methodenteil.

Die Pilotstudie: wann sie sich lohnt

Eine Pilotstudie probiert das gesamte Vorgehen in kleinem Rahmen aus. Sie lohnt sich, wenn der Zugang zur Zielgruppe unsicher ist (zum Beispiel bei einem Betrieb mit knapp bemessener Zeit), wenn der Fragebogen neue oder angepasste Skalen enthält oder wenn du die Auswertung vorab testen willst. Typische Ziele sind: Funktioniert der Versand? Wie hoch ist der Rücklauf? Wie lange dauert das Ausfüllen? Läuft das Auswertungsskript (SPSS-Syntax, R-Code) auf echten Daten? Sind die Skalen intern konsistent genug? Letzteres bleibt in kleinen Pilotstichproben unsicher; die Werte sind nur ein Hinweis, kein Nachweis – wie du Cronbachs Alpha berechnest und einordnest, zeigt der Beitrag Cronbachs Alpha in der Bachelorarbeit.

Wichtig ist, dass Pilotteilnehmende nicht an der Hauptstudie teilnehmen, damit sich keine Doppelungen und kein Vorwissen ergeben. Nutze die Pilotdaten nicht für die Hypothesentests, es sei denn, du hast nichts verändert und begründest das ausdrücklich. Die Stichprobengrösse der Hauptstudie begründest du unabhängig davon; Hinweise im Beitrag zur Stichprobenbestimmung.

Auswertung des Piloten vorbereiten

Nutze die Pilotdaten, um die Datenaufbereitung zu üben: Variablen benennen, Items umpolen, Skalenwerte bilden, fehlende Werte prüfen. So findest du Codierfehler, bevor sie die Hauptdaten betreffen. Eine Anleitung dazu bietet der Beitrag Umfragedaten aufbereiten. Prüfe zusätzlich, ob die Antwortverteilungen plausibel sind: Wenn fast alle Befragten ein Item gleich beantworten (Deckeneffekt) oder wenn ein Item viele fehlende Werte hat, ist das ein Hinweis auf Verständnis- oder Formulierungsprobleme.

Ein realistischer Zeitplan

Woche Aufgabe
1 Expertenreview, Rückmeldungen einarbeiten, Fragebogen technisch aufsetzen
2 Kognitive Interviews mit wenigen Personen, Probebefragung, Änderungsprotokoll schreiben
3 Fragebogen überarbeiten, gegebenenfalls Mini-Pilot mit Versand an kleine Gruppe, Auswertungsskript testen
4 Freigabe durch die Betreuungsperson, Start der Hauptbefragung

Plane die Freigabe durch die Betreuungsperson ein, bevor du die Befragung startest; viele Lehrstühle wollen den überarbeiteten Fragebogen sehen. Wenn die Zeit knapp ist, ist ein kurzer kognitiver Pretest mit wenigen Personen besser als gar keiner.

Musterabsatz für den Methodenteil (illustrativ)

„Der Fragebogen wurde vor der Hauptbefragung in zwei Schritten geprüft. Erstens beurteilte eine Fachperson aus dem Personalmanagement Inhalt und Vollständigkeit. Zweitens füllten fünf Personen aus der Zielgruppe den Fragebogen unter Anwendung der Methode des lauten Denkens aus; Verständnisprobleme wurden protokolliert (siehe Anhang X). Auf dieser Grundlage wurden drei Fragen umformuliert, zwei gestrichen und die Antwortkategorien einer Frage präzisiert. Die durchschnittliche Bearbeitungsdauer betrug 14 Minuten. Die Pretest-Teilnehmenden gehörten nicht zur Hauptstichprobe.“ Passe die Zahlen an deinen tatsächlichen Pretest an und ergänze das Änderungsprotokoll als Anhang.

Halte den Absatz bewusst knapp, aber vollständig: Wer hat getestet, wie wurde getestet, was hat sich geändert, wie lange dauerte es, und wie wurde die Trennung von der Hauptstichprobe sichergestellt? Diese fünf Angaben beantworten die Fragen, die Gutachtende zum Fragebogen am häufigsten stellen. Verweise im Text auf den Anhang und beschränke dich im Methodenteil auf die wichtigsten Änderungen.

Typische Fehler

  • Kein Pretest, weil „keine Zeit“. Ein Pretest braucht oft nur wenige Tage und verhindert unbrauchbare Daten.
  • Pretest mit Personen, die das Thema nicht kennen. Teste mit Personen, die der Zielgruppe ähneln.
  • Nur Freunde fragen. Sie sagen selten, was unklar ist; frage aktiv nach.
  • Änderungen nicht dokumentieren. Gutachtende wollen nachvollziehen, was du verändert hast und warum.
  • Pretest-Daten in die Hauptstudie mischen. Das verzerrt die Stichprobe, wenn der Fragebogen verändert wurde.
  • Zu viele Änderungen ohne erneuten Test. Prüfe stark veränderte Fragen noch einmal.

Checkliste vor dem Versand

  1. Expertenreview durchgeführt und Rückmeldungen dokumentiert.
  2. Kognitiver Pretest mit Personen aus der Zielgruppe abgeschlossen.
  3. Technischer Test (Geräte, Filter, Pflichtfelder) bestanden.
  4. Änderungsprotokoll erstellt und im Anhang abgelegt.
  5. Bearbeitungsdauer in der Einladung korrekt angegeben.
  6. Pretest-Teilnehmende sind von der Hauptstichprobe ausgeschlossen.

Wie du Antwortskalen später auswertest, erklärt der Beitrag zu Likert-Skalen; die Grundbegriffe der Messgüte stehen im Beitrag Reliabilität und Validität.

Häufige Fragen zu Pretest und Pilotstudie

Wie viele Personen brauche ich für einen Pretest?

Für einen kognitiven Pretest genügen in Bachelorarbeiten wenige Personen aus der Zielgruppe; wichtiger ist die Vielfalt der Personen als die Zahl.

Muss ich den Pretest in der Arbeit erwähnen?

Ja. Beschreibe im Methodenteil kurz, wie du den Fragebogen geprüft hast, und lege ein Änderungsprotokoll in den Anhang.

Was ist der Unterschied zwischen Pretest und Pilotstudie?

Der Pretest prüft Fragen und Fragebogen, die Pilotstudie das gesamte Vorgehen in kleinem Rahmen.

Darf ich Pilotdaten in der Auswertung verwenden?

In der Regel nicht, weil der Fragebogen nach dem Piloten verändert wird. Wenn du nichts verändert hast, begründest du die Verwendung ausdrücklich.

Wie gehe ich vor, wenn ich eine validierte Skala übernehme?

Auch dann lohnt sich ein Pretest für Verständlichkeit und Technik; die Items der Skala änderst du aber nicht ohne Begründung.

Reicht ein technischer Test?

Nein. Er zeigt, ob der Fragebogen funktioniert, nicht, ob ihn Befragte verstehen.

Schreibe deine Abschlussarbeit mit KI

Strukturiere, schreibe und zitiere deine Bachelor- oder Masterarbeit mit einem KI-Assistenten, der wissenschaftliche Integrität wahrt. Kostenlose Anmeldung, ohne Kreditkarte.

Kostenlos starten →

Kategorien