Technischer Funktionstest

SoSci Survey ist eine sehr zuverlässige Plattform. Dennoch können bei der Konstruktion des Fragebogens, bei der Programmierung von Filterfragen, aber auch bei Veränderungen im Programm (z.B. Software-Updates und neue Features) Fehler entstehen. Wenn solche Fehler dazu führen, dass Daten verloren gehen, wäre dies natürlich äußerst ärgerlich.

Wir empfehlen, jeden Fragebogen vor dem Start der Erhebung einem technischen Funktionstest zu unterziehen. Der Funktionstest dauert ca. 20 bis 30 Minuten, also kaum länger als jeder einzelne Teilnehmer der Befragung an Zeit investiert.

1. Löschen Sie Datensätze, die bei der Entwicklung des Fragebogens und beim Testen gespeichert wurden. Dafür wählen Sie im Menü die Funktion Erhobene Daten → Alle Daten löschen.
2. Drucken Sie nun die Liste aller Variablen im Befragungsprojekt aus. Dafür öffnen Sie die Variablen-Übersicht, welche Sie bitte ausdrucken. Die meisten Browser öffnen den Dialog zum Drucken mittels Tastenkombination Strg+P (Windows) bzw. Command+P (MacOS) oder über die Alt-Taste → Datei → Drucken.
3. Nun starten Sie den Fragebogen unter Fragebogen zusammenstellen mit der grünen Pfeil-Taste. Falls Sie mehrere Fragebögen zusammengestellt haben, führen Sie die folgenden Schritte mit jedem Fragebogen durch.
4. Füllen Sie den Fragebogen zweimal vollständig mit unterschiedlichen Daten aus. Am Besten verwenden Sie für das Ausfüllen unterschiedliche Browser (z.B. FireFox, Internet Explorer, Opera, Safari), da es u.U. zu Unterschieden in der Darstellung kommen kann. Wenn Sie Filter im Fragebogen einsetzen, dann füllen Sie den Fragebogen bitte öfter aus, um alle Filterwege zu testen.
   • Stellen Sie vorab sicher, dass die Testläufe auch gezählt werden. Setzen Sie dazu die entsprechenden Haken unter Erhobene Daten → Auswahlkriterien für gültige Fälle.
   • Notieren Sie alle Angaben, die Sie im Fragebogen eintragen, parallel in der gedruckten Variablen-Übersicht. Am besten tragen Sie die Zahl ein, die für eine Antwort gespeichert wird. Welche das ist, steht auch in der Variablen-Übersicht.
   • Achten Sie darauf, ob alle Fragen sauber dargestellt werden – falls nicht, reicht es häufig, eine kleine Einstellung bei der Frage zu ändern.
   • Wenn Sie Filter verwenden, machen Sie beim Ausfüllen unterschiedliche Angaben und prüfen Sie, ob die Filter korrekt reagieren.
   • Falls Sie eine Zufallsauswahl verwenden, dann kontrollieren Sie, ob die Ergebnisse beim Ausfüllen korrekt variieren.
5. Laden Sie die Daten unter Erhobene Daten → Daten herunterladen als Datei herunter und öffnen Sie sie in dem Programm, das Sie auch in der Auswertung verwenden möchten. Damit können Sie gleich überprüfen, ob der Import erwartungsgemäß funktioniert.
   • Eine detaillierte Anleitung finden Sie unter Erhobene Daten und Dokumentation.
   • Sollte der in den Projekt-Einstellungen eingetragene Befragungszeitraum schon begonnen haben, setzen Sie bei Erhobene Daten → Auswahlkriterien für gültige Fälle noch ein Kreuzchen bei Interviews-Kontext (MODE) → Fragebogen-Entwicklung (Problemlösungen beim Datenabruf).
6. Nun können Sie den Datensatz ganz einfach mit den Notizen auf der ausgedruckten Variablen-Übersicht vergleichen.
   • Kontrollieren Sie, ob bei jeder Variable im Datensatz der Wert abgespeichert wurde, den Sie in der Liste vermerkt haben. Die Variablen im Datensatz haben dieselbe Reihenfolge wie in der Variablen-Übersicht, allerdings werden im Datensatz (je nach Einstellung beim Download) nur Variablen aufgenommen, die auch im Fragebogen vorkommen.
   • Kontrollieren Sie, ob alle relevanten Variablen im Datensatz vorhanden sind. Fragen, die nirgends abgefragt werden, erscheinen nicht im Fragebogen. Möglicherweise wurde eine Frage im Fragebogen vergessen oder ein Filter hat die Frage übersprungen, obwohl das nicht der Fall sein sollte. Nach dem Ausfüllen der Fragebögen sehen Sie in der Variablen-Übersicht übrigens auch immer, welche Variablen aktiv sind -– die anderen sind ausgegraut.

Wenn Sie diesen Funktionstest durchgeführt haben, dann können Sie sicher sein,

• dass alle Fragen im Fragebogen enthalten sind,
• dass alle Angaben der Teilnehmer korrekt gespeichert werden und
• dass der Import der Daten für die Auswertung funktionieren wird.

Allerdings verstehen die Teilnehmer vielleicht noch nicht alle Fragen so, wie sie gemeint waren. Um eine valide Erhebung zu gewährleisten, ist daher noch ein Pretest des Fragebogens notwendig.