====== Tipps zur Gestaltung von Befragungen ====== Auf dieser Seite sind einige Empfehlungen zusammengestellt, die Probleme mit dem Messinstrument vermeiden. Die Liste ist weder vollständig, noch gilt irgendeine Regel ohne Ausnahme – in aller Regel ersparen die folgenden Tipps aber Aufwand, Ärger und Unmut bei der Auswertung. ===== Konzeption ===== ==== Forschungsfragen und Testfragen trennen ==== Die Fragen, die man im Fragebogen stellt, werden in Anlehnung an psychologische Testverfahren auch als //Testfragen// bezeichnet. Ihre Formulierung trägt maßgeblich zur Qualität eines Fragebogens bei. Der häufigste Fehler bei der Formulierung von Testfragen ist, dass die Frage sich zu sehr am Forschungsvorhaben orientiert ("Zu wie vielen Prozent wurde Ihre Entscheidung von dem vorhin präsentierten Werbemittel beeinflusst?"). Der zweit häufigste Fehler ist, dass sich die Testfrage zu wenig am Forschungsvorhaben orientiert. Und in beiden Fällen liegt das Problem meist darin, dass Forschungsfragen und Testfragen konzeptionell nicht getrennt werden. Wenn man sich systematisch von der Forschungsfrage zu den Testfragen durcharbeitet, dann bekommt man in aller Regel (a) gut verständliche Fragen, die (b) am Schluss bei der Auswertung auch alle notwendigen Daten liefern. * Die //Forschungsfrage// ist eine grundsätzliche Frage, die hinter der Studie steht.\\ Zum Beispiel: Welchen Einfluss haben unterschiedliche Werbeformen auf eine Kaufentscheidung? * Aus einer Forschungsfrage werden i.d.R. mehrere //Programmfragen// und/oder //Hypothesen// entwickelt.\\ Zum Beispiel: Welche Werbung nehmen Kunden war, welche Nicht-Kunden? Wurde die Kampagne XY in der Zielgruppe bisher generell wahrgenommen? Ist der TV-Spot den Kunden präsenter als die Print-Anzeige? * Ein kritischer Schritt ist die Überführung von Programmfragen und/oder Hypothesen in //Konstrukte//. Das sind jene Größen, die man in der Befragung messen will - die man also mit einer Kennzahl quantifizieren kann. Kritisch sind die Konstrukte in zweierlei Hinsicht: Zum einen muss man alle Konstrukte messen, die zur Beantwortung der Programmfragen bzw. zur Prüfung der Hypothesen notwendig sind. Zum anderen sollte man sich tunlichst auf diese Konstrukte beschränken.\\ Zum Beispiel: Alter, Geschlecht, Wahrnehmung der Kampagne XY im Fernsehen, Wahrnehmung der Kampagne auf Plakatwänden, Absicht zum Produktkauf, Erinnerung an den TV-Spot * Aus den Konstrukten werden schließlich die //Testfragen// entwickelt. Diese Fragen müssen so gestellt sein, dass der Teilnehmer sie versteht (keine Fachbegriffe) __und__ mit seinem Wissen zuverlässig beantworten kann. Einige Konstrukte kann man mit einer Frage abarbeiten - für anderen benötigt man längere Skalen.\\ Zum Beispiel: Wie alt sind Sie? Haben Sie den TV-Spot zum neuen XYZ schon gesehen? Welche der folgenden Aussagen treffen auf Sie persönlich zu: Ich habe schon darüber nachgedacht, mir den XYZ zu kaufen. ... **Tipp:** Schreiben Sie sich Ihre Programmfragen und die zugehörigen Konstrukte einfach einmal auf. Sie werden sich wundern, welche Fußangeln Sie bis dato übersehen haben. ==== Pretest durchführen ==== Die Validität des Messintruments Fragebogen ist von zwei Grundlagen abhängig: Der theoretischen Fundierung und der Verständlichkeit. Für letzteres gibt es unzählige gute Tipps in Büchern (kurze Sätze, keine unnötigen Verneinungen, einfache Begriffe, keine Fachwörter, ...). Aber kein Werkzeug ist so effizient, Probleme im Fragebogen aufzudecken wie ein [[de:survey:pretest|Pretest des Fragebogens]]. Die Prüfung auf Rechtschreibung und Grammatik ist natürlich keine Aufgabe der Pretester -- das sollte schon vorher erledigt sein, sonst gehen die inhaltlichen Probleme im Pretest unter. ==== Technische Kontrolle nur soweit nötig ==== Im Idealfall sollte jeder Teilnehmer alle Fragen vollständig ausfüllen und wenn man im Fragebogen nach dem Alter fragt, dann will man natürlich, dass der Teilnehmer nur Zahlen eintippt. Im Online-Fragebogen kann man solche Restriktionen technisch recht einfach umsetzen. Der Tipp ist: Lassen Sie es bleiben! Wenn motivierte Teilnehmer eine Antwort offen lassen, dann haben sie dafür i.d.R. einen guten Grund, z.B. können sie die Frage nicht beantworten. Und unmotivierte Teilnehmer belasten ohnehin nur die Datenqualität. Vor allem gibt es immer Personen, die einen Fragebogen nur ansehen möchten. Zwingt man diese zu einer Antwort, werden sie auch etwas angeben: Meistens Datenmüll. Nachher im Datensatz erkennt man das nicht mehr - nur noch die insgesamt schlechte Datenqualität. Ein leerer Datensatz hingegen ist sehr einfach zu bereinigen. Antwortzwang und Vorgaben für die Texteingabe haben durchaus ihre Berechtigung, wenn die Antworten für Filter o.ä. benötigt werden. ===== Aufbau des Fragebogens ===== Folgt man einigen generellen Empfehlungen((Krosnick, J. A., & Presser, S. (2010). Question ans Questionnaire Design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of survey research (2nd ed., pp. 263–313). Bingley: Emerald.)), so ist der Fragebogen für den Teilnehmer schlüssig, man vermindert die Anzahl von Abbrechern und vermeidet Irritationen, was i.d.R. zu besseren Daten führt. - Die Fragen zu Beginn des Fragebogens sollten einfach und angenehm zu beantworten sein. Die Einstiegsfragen sollten eine Gesprächssituation für die weiteren Fragen schaffen (auch in Onlinefragebögen!) - Die Einstiegsfragen sollten explizit zum angekündigte Thema der Befragung sein.((Anm. von SoSci Survey: Allgemeine Fragen, etwa zur Demografie, sind für einen Teilnehmer alles andere als interessant.)) - Fragen zum selben Themenbereich oder Gegenstand sollten direkt nacheinander gestellt werden.((Anm. von SoSci Survey: So muss der Teilnehmer nicht ständig umdenken.)) - Fragen zum selben Themenbereich oder Gegenstand sollten vom Allgemeinen zum Speziellen angeordnet werden. - Sensible Fragen, bei denen sich einige Befragte möglicherweise unwohl fühlen, sollten am Ende des Fragebogens platziert werden. - Verwenden Sie Filterfragen, damit Teilnehmer keine für sie irrelevante Fragen gestellt bekommen.((Anm. von SoSci Survey: Insbesondere in Onlinefragebögen sollte dies eine Selbstverständlichkeit sein. Eine Formulierung "Falls Sie bei Frage 1 //ja// geantwortet haben, fahren Sie bitte mit Frage 4 fort" mag im gedruckten Fragebogen akzeptabel sein, im Onlinefragebogen deutet sie auf einen unfertigen Fragebogen hin.)) ===== Formulierung von Fragen ===== Für die Formulierung von Fragen geben Krosnick und Presser (2010, S. 264)((Krosnick, J. A., & Presser, S. (2010). Question ans Questionnaire Design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of survey research (2nd ed., pp. 263–313). Bingley: Emerald.)) wertvolle Empfehlungen: - Verwenden Sie einfache, gebräuchliche Wörter (vermeiden Sie technische Begriffe, Jargon und Umgangssprache).((Anm. von SoSci Survey: Denken Sie daran, dass Ihnen gebräuchliche Begriffe (z.B. die "Einstellung" aus der Psychologie) der Mehrzahl der Befragten eventuell nicht geläufig sind!)) - Verwenden Sie einen einfachen Satzbau (kurze Sätze, wenige Nebensätze). - Vermeiden Sie mehrdeutige Wörter. Das Ziel beim Wording ist, dass alle Teilnehmer die Frage gleich verstehen bzw. interpretieren. - Formulieren Sie so spezifisch und konkret wie möglich (in Abgrenzung zu allgemeinen und abstrakten Formulierungen).((Anm. von SoSci Survey: Menschen haben in aller Regel keine Einstellungen zu abstrakten Konstrukten, z.B. "Neuerungen" oder "Internet". Auch wenn es für das Studiendesign manchmal schön wäre, so etwas direkt abzufragen, muss man für reliable und valide Daten meist nach konkreten Ausprägungen bzw. Beispielen fragen.)) - Antwortoptionen müssen vollständig sein und sich gegenseitig ausschließen. - Vermeiden Sie einseitige oder wertende Frageformulierungen, die Teilnehmer zu einer der Antwortoptionen drängen. - Fragen Sie stets nur nach __einem__ Sachverhalt (vermeiden Sie mehrdimensionale Fragen).((Anm. von SoSci Survey: Selbst validierte Skalen enthalten mitunter mehrdimensionale Items. Stellen Sie sich einen Teilnehmer vor, der mit seiner beruflichen Leistung in letzter Zeit recht unzufrieden ist, die Welt aber generell positiv sieht und seine Stimmung davon nicht trüben lässt. Auf ein Likert-Item "Ich bin glücklich und zufrieden" könnte dieser Teilnehmer keine korrekte Antwort geben.)) - Vermeiden Sie Fragen mit einfachen oder doppelten Verneinungen. ==== Interpretationsspielraum I ==== Es gibt unzählige Begriffe, die unterschiedliche Menschen unterschiedlich verstehen. Zum Beispiel "selten" und "häufig". Wenn man nun eine Frage stellt, wie häufig jemand soziale Onlinenetzwerke (wie z.B. Facebook) nutzt, dann ist "selten" für den einen "nur einmal täglich", für den anderen "nur einmal im Monat" -- je nachdem, was der Befragte als "normal" empfindet. Mit einer Skala "nie/selten/gelegentlich/häufig" würde man also nur messen, wie sich der Befragte im Vergleich zu seiner Peer Group sieht, man bekommt aber kein valides Maß für die Nutzungsmenge. Möchte man die Nutzungsmenge messen, sollte man tunlichst absolute Zahlen angeben, z.B. "etwa einmal im Monat", "etwa einmal pro Woche", ... ==== Interpretationsspielraum II ==== Dasselbe Problem besteht übrigens genauso bei vermeintlich klaren Begriffen. Facebook-Nutzung zum Beispiel. Sollte hier nicht jeder wissen, was gemeint ist? Nein, denn der eine öffnet Facebook am Morgen, lässt die Seite den ganzen Tag im Hintergrund offen und schaut 10-mal am Tag hinein. Der andere ruft auf seinem Smartphone 10-mal am Tag die Facebook-App auf. Obwohl beide gleich häufig die Neuigkeiten abrufen (danach könnte man valide fragen), würde sich der eine bei "täglich", der andere bei "mehrmals täglich" einordnen -- eine Fehlerquelle von 20% auf einer fünfstufigen Skala. Und wenn 90% der Teilnehmer Facebook ohnehin häufig oder sehr häufig nutzen, kann der Fehler durchaus 80% (!) der erklärten Varianz ausmachen. Mit signifikanten Korrelationen braucht man dann nicht mehr zu rechnen. ===== Inhalt und Form ===== Der erste Eindruck kann den Unterschied zwischen 5% und 20% Rücklaufquote machen -- dieser Abschnitt gibt einige Empfehlungen, wie man seine Teilnehmer nicht schon durch das Layout verjagt. Die folgenden Begrüßungsbildschirme desselben Projekts (vor und nach der Optimierung) verdeutlichen den Effekt einer sauberen Gestaltung. ^ Vorher ^ Nachher ^ |{{:de:create:scr.layout.before.png?direct&300|Vorher (Anklicken zum Vergrößern)}}|{{:de:create:scr.layout.after.png?direct&300|Nachher (Anklicken zum Vergrößern)}}| | (Anklicken zum Vergrößern) || ==== Fragebogen ordentlich gestalten ==== Nicht jeder hat eine intime Beziehung mit HTML. Aber minimale Formatierungen, z.B. Absätze und Überschriften, kann jeder mit wenig Aufwand als HTML-Code programmieren ([[texts|Texte im Fragebogen]]). Und davon sollte man unbedingt Gebrauch machen: Der Begrüßungstext auf der ersten Seite ist die Visitenkarte des Fragebogens. Ist diese Seite ordentlich gestaltet und ziert sie ein Logo des Instituts und/oder der Universität ([[images|Bilder im Fragebogen]]), so werden deutlich mehr Personen den Fragebogen ausfüllen. oFb bietet alle Möglichkeiten, um hübsche Fragebögen zu gestalten. Wenn man diese Chance nicht nutzt, dann ist man für schlechten Rücklauf selbst verantwortlich. Sorgfalt sollte man natürlich auch bei der Rechtschreibung und der Darstellung der Fragen selbst walten lassen ([[design|Darstellung von Fragen optimieren]]). Eine kurze Checkliste für einen ordentlichen Fragebogen (s. außerdem unten [[#saubere_knappe_begrueßung|Saubere knappe Begrüßung]]): * Offene Texteingabefelder sind für den erwarteten Inhalt optimiert (z.B. Breite und Textformat angepasst, falls eine Nummer erwartet wird) * Es ist ein Impressum vorhanden, Teilnehmer sehen, an wen sie sich ggf. wenden können. * Die Rechtschreibung und Grammatik in Texten und Fragen wurde überprüft. * Es werden nur kurze Texte verwendet (z.B. max. 4 Absätze á 3 Zeilen in der Begrüßung). * In den Fragen werden kurze, einfache Sätzen verwendet. * Jede Frage sieht sauber aus, es stehen keine Texte über, alle Zeilenumbrüche (z.B. auch in Skalenbeschriftungen) sehen sauber aus. ==== Saubere knappe Begrüßung ==== > What is wrong with my writing? > Well. For starters, you use too many sentences.(([[http://www.phdcomics.com/comics.php?f=1440|PHD Comics]])) Wenn ein Teilnehmer dem Link zum Fragebogen folgt, erwartet er zunächst eine kurze Begrüßung. Der Text sollte nicht länger als 800 Zeichen sein. Weniger ist mehr -- insbesondere was die Teilnahmequote betrifft! Wenn man weitere Informationen zur Verfügung stellen will oder muss, dann gehören diese auf eine eigene Seite, die man in der Begrüßung verlinkt. Folgende Bestandteile sind wichtig für die erste Seite: * Eine freundliche Begrüßung\\ z.B. "Herzlich willkommen", "Sehr geehrte Teilnehmerin, sehr geehrter Teilnehmer" * Ein Logo der Uni, des Instituts oder des Unternehmens -- soweit nicht ohnehin im Layout vorhanden * Thema des Fragebogens -- ein grober Hinweis reicht vollkommen, zu viele Details schaden mehr als dass sie nutzen\\ z.B. "Befragung zur öffentlichen Meinung", "zu den Studienbedingungen an der Uni XYZ", "zur aktuellen wirtschaftlichen Lage", "zu einer technischen Innovation", "zur Wahlwerbung im Rahmen der Bundestagswahl" etc. * Eine Angabe, wie lange das Ausfüllen etwa dauert * Hinweise zur institutionellen Einbindung\\ z.B. "an der Universität XY", "im Rahmen der Veranstaltung YZ" * Wenn die Studie gefördert wird oder anderweitig mit Institutionen verbunden ist (z.B. Förderung durch das Bundesministerium für Bildung und Forschung), dann zeigen Sie ruhig ein entsprechendes Logo und vermitteln Sie so Anspruch * Die Begrüßung endet mit einer Grußformel und dem Namen eines Ansprechpartners Für den Inhalt des Textes gelten dieselben Empfehlung, wie auch für Einladungsmails: [[:de:survey:invitation]] Vielfach möchte man den sozialen Druck reduzieren, um möglichst ehrliche Antworten zu bekommen ("es gibt keine richtigen oder falschen Antworten..."). Solch ein Hinweis wird am Besten dort platziert, wo sensible Fragen gestellt werden -- in der Begrüßung wird er schnell überlesen. Eine freundliche Formulierung für den Hinweis wäre zum Beispiel: > Ihre Antworten auf unsere Fragen können nicht richtig oder falsch sein. Es geht um Ihre Auffassungen, Meinungen und Gewohnheiten. Wenn Sie sich in Ihren Antworten nicht ganz sicher sind, ist das nicht schlimm. Die meisten Fragen können und sollen „aus dem Bauch heraus“ beantwortet werden. ==== Fragen statt Formulare ==== Formulare kennt man von vielen Gelegenheiten. Formularfelder sind meist sehr konkret beschriftet: "Geburtsjahr", "Wohnort", "Adresse". Was verbinden Sie mit Formularen? Bittsteller, Papierkram und Amtsschimmel. Wenn Sie wollen, dass die Teilnehmer Ihrer Befragung sich wohlfühlen, dann stellen Sie ihnen richtige Fragen ("Wo haben Sie Ihren letzten Urlaub verbracht?" statt "Letzter Urlaub:") und erklären Sie kurz den Kontext Ihrer Fragen (z.B. "Im Folgenden möchten wir Ihnen gerne einige Fragen zu Ihrem letzten Urlaub stellen.") -- insbesondere wenn das Thema der Fragen wechselt ("Bei den folgenden Fragen geht es um konkrete Erlebnisse in Ihrem letzten Urlaub"). Durch echte Fragen entsteht der Hauch einer Gesprächssituation und der Teilnehmer weiß genauer, was Sie von Ihm wissen wollen. Natürlich muss man es nicht übertreiben: Die demografischen Angaben kann man natürlich weiterhin im kompakten Formularstil abfragen. Dennoch schadet ein freundliches "Zuletzt möchten wir Sie um einige Angaben zu Ihrer Person bitten" nicht. ===== Formatierung ===== Halten Sie sich mit Hervorhebungen (fett, kursiv, unterstrichen) zurück. * Fette **Hervorhebungen** wirken meist **unprofessionell**, weil sie das Schriftbild **negativ** beeinflussen * Wenn viele Wörter hervorgehoben werden, dann geht der Charakter einer Hervorhebung verloren. Beschränken Sie sich auf __ein__ Wort pro Absatz, damit Sie wirklich eine Hervorhebung erreichen. Machen Sie sich mit den wichtigsten HTML-Tags vertraut. * Ein Zeilenumbruch ist nicht dasselbe wie ein neuer Absatz. Wenn Sie mehrere Absätze verwenden, dann sorgen Sie dafür, dass es Absätze sind -- keine doppelten Zeilenumbrüche ([[http://de.selfhtml.org/html/text/absaetze.htm|SelfHTML: Textabsätze]]). * Wenn Sie eine Aufzählung verwenden wollen, dann genügt es nicht, Bindestriche an den Anfang einer Zeile zu schreiben. Eine richtige Aufzählung, bei der nach einem Zeilenumbruch auch korrekt eingerückt wird, erzielen Sie mit den HTML-Tags ''