Pretest des Fragebogens

Eine saubere Konstruktion des Fragebogens garantiert noch nicht, dass die Fragen von jedem Teilnehmer korrekt verstanden werden. Der wichtigste Schritt, um mit einem Fragebogen valide Daten zu erhalten, ist nach wie vor ein ordentlicher Pretest.

Pretests kommen gerade bei Online-Befragungen häufig zu kurz, was einen großen Teil der vermeintlich schlechten Datenqualität von Onlineerhebungen im Rahmen von Studien ausmacht. Daher wird im folgenden erläutert, wie man einen ordentlichen Pretest durchführt. .

SoSci Survey bietet die Möglichkeit, einen Online-Pretest durchzuführen. Dies bedeutet für den Forscher geringeren Aufwand, deckt in der Regel aber nur grobe Fehler auf. Um die Feinheiten (schlechte Formulierungen, unklare Begriffe, etc.) zu bereinigen, empfiehlt sich unbedingt auch ein Face-to-Face Pretest (s. unten).

1. Erstellen Sie unter Befragungsprojekt → Pretest und Vorschau mindestens einen Pretest-Link für Ihr Befragungsprojekt.
2. Lassen Sie den Pretestern nun den Pretest-Link zukommen. - Mit dem Pretest-Link können Personen auf den Fragebogen zugreifen. Zusätzlich zu den Fragen werden im Pretest-Modus deren Kennungen angezeigt, sowie ein offenes Eingabefeld für Anmerkungen.
3. Die Anmerkungen der Pretester finden Sie anschließend unter Erhobene Daten → Anmerkungen aus dem Pretest.

Warnung: Wenn Sie die erhobenen Daten löschen, werden auch die Kommentare aus den Pretests gelöscht.

Sie können auch während der Erhebung und nach Ende des Befragungszeitraums Pretest- und Vorschau-Links erzeugen und verwenden. Auf die bereits erhobenen Daten hat das keinen Einfluss.

Ein „richtiger“ Pretest dauert – je nach Sorgfalt bei der Konstruktion des Fragebogens – zwischen einer Stunde und einigen Tagen. Die Zeit sollte man auf jeden Fall investieren: Bei der Auswertung spart man sie um ein Vielfaches wieder ein. Abgesehen davon erhält man deutlich bessere Daten und eine geringere Abbruchquote.

Aktivieren Sie für den Fragebogen, wie oben beschrieben, den Pretest-Modus. So können Sie bzw. Ihre Pretester auch außerhalb des Befragungszeitraums auf den Fragebogen zugreifen. Im Face-to-Face Pretest verwenden Sie die URL für die Original-Vorschau (ohne Frage-Kennungen und Feld für Anmerkungen).

1. Sie brauchen ca. 5 Personen, die von der Studie wenig wissen (was bei den späteren Teilnehmern auch der Fall sein wird). Im Idealfall sind es Personen aus der Zielgruppe – diese finden sich häufig in der Familie, im Freundeskreis oder in der Mensa bzw. Kantine. Für letztere Orte hat sich ein Notebook mit Internetzugang gut bewährt.
2. Diese Personen setzt man nun einzeln vor den Fragebogen. Alles was man dafür braucht ist ein Computer mit Internetanschluss, die URL (Internetadresse) des Fragebogens (steht unter Fragebogen zusammenstellen) und das Pretest-Passwort.
   1. Während die Person den Fragebogen ausfüllt, soll sie alles sagen, was ihr dabei durch den Kopf geht (Methode des lauten Denkens). Insbesondere, wenn ihr irgend etwas unklar oder mehrdeutig ist. Man muss einen Tester während des Ausfüllens immer mal wieder darauf hinweisen, dass er laut denken soll.
   2. Als Beobachter hat man einen Block in der Hand und notiert die Anmerkungen erstmal nur – bloß nicht anfangen, sich dagegen zu verteidigen („aber das versteht man doch eigentlich schon, oder?“).
   3. Wenn man bei einer Frage unsicher ist, ob sie korrekt verstanden wurde, dann kann man direkt nachfragen, was der Tester verstanden hat. Man sollte auch nachfragen, ob längere Texte (im Internet sind das schon 2-3 Sätze) überhaupt gelesen werden.
   4. Passt den Testern schon beim ersten mal alles, dann hat man sie nicht ausreichend um Kritik gebeten. Denn Kritik wird man immer bekommen, wenn man es richtig macht. Allen kann man es schließlich nie recht machen…
3. Hat man das Feedback der 5 Personen gesammelt, lässt man sich die Anmerkungen durch den Kopf gehen. Manche Kleinigkeiten lassen sich einfach beseitigen (z.B. fehlende Antwortkategorien), andere stören vielleicht nur eine einzelne Person. Man muss natürlich nicht sofort alles ändern, wenn es einen guten Grund gibt, das nicht zu tun.
4. Nach Abschluss der Änderungen sollte man den Pretest wiederholen – sonst kann es vorkommen, dass man Probleme verschlimmbessert. Natürlich muss man dafür andere Personen ansprechen, weil die Tester aus der ersten Runde ja inzwischen wissen, wie sie etwas verstehen sollen.
5. Auch bei guten Fragebögen sind einige Änderungen vollkommen normal. Üblicherweise benötigt man 2-4 Pretest-Runden, um einen guten Fragebogen richtig gut zu machen. Aber der Aufwand zahlt sich bald aus: durch bessere Daten, weniger Abbrecher und weniger Ärger bei der Auswertung und Interpretation. Gerade, wenn man unter Zeitdruck ist, sollte man keinesfalls am Pretest sparen.

Nützliche Hinweise zum Pretest und weitere Testmethoden beschreibt zum Beispiel der Text Kognitive Interviews von Prüfer und Rexroth (2005) aus der ZUMA How-to-Reihe, Nr. 15.