Amazon MTurk

Eventuell möchten Sie den Croudsourcing Marketplace Amazon Mechanical Turk (MTurk) nutzen. Im folgenden wird erklärt, wie Sie hierbei vorgehen müssen.

Hinweis: Wir müssen davon ausgehen, dass Mitarbeiter-IDs personenbezogene Daten sind. Daher können Einschränkungen aus den DSGVO (siehe Personenbezogene Daten) gelten. Daher sprechen Sie sich vor der Anwendung mit ihrem Datenschutzbeauftragten ab, wenn Sie vorhaben, die individuellen Codes oder Arbeiter-IDs zu nutzen.

Laut den offiziellen Angaben von Amazon sollten Sie am Ende des Fragebogens eine ID angeben, die die Arbeiter in das MTurk-Formular eintragen müssen.

Eine Möglichkeit ist es, einen fixen Code anzuzeigen, wenn die Befragten Ihren Qualitätsprüfungskriterien entsprechen.

if (caseTime('begin') > 600) {
  html('<p>Der Fragebogencode ist <strong>12345678</strong></p>');
} else {
  html('<p>Es tut uns leid, Sie haben diese Umfrage nicht sorgfältig genug ausgefüllt.</p>');
}

Allerdings möchten Sie wahrscheinlich individuelle Codes bereitstellen, um zu verhindern, dass Mitarbeiter den Code weitergeben. Folgen Sie dafür bitte der Anleitung Individuelle Codes oder Gutschein-Codes anzeigen.

Die Verwendung der offiziellen Codelösung bedeutet jedoch einen gewissen Mehraufwand bei der Zuordnung, welche Arbeiter den HIT verdient haben und welche nicht.

Wenn Sie eine neue MTurk-Aufgabe erstellen und dabei die Vorlage mit dem „Fragebogen-Link“ verwenden, können Sie den Code ändern, um die Arbeiter-ID direkt an Ihren Datensatz zu senden.

In der Amazon MTurk Requester-Verwaltung wählen Sie bitte Erstellen → Neues Projekt und beginnen dann mit der Vorlage Umfrage → Umfrage-Link. Klicken Sie auf Projekt erstellen, um mit den Details zu beginnen.

Im ersten Reiter des Amazon MTurk-Formulars geben Sie bitte alle Daten ein (Titel, Beschreibung, …)

Im zweiten Reiter „Design Layout“ klicken Sie dann auf die Schaltfläche „Quelle“, um den HTML-Quellcode des Designs zu sehen.

Im Quellcode müssen Sie zwei Änderungen vornehmen. Fügen Sie zunächst ganz am Anfang unter dem <meta>-Tag eine Zeile ein, um ein JavaScript einzubetten (zusätzliche Zeile ist fett gesetzt).

Als nächstes muss dann das folgende <script> hinzugefügt werden, welches die Umfragen-URL mit den entsprechenden Parametern schreibt. Suchen Sie <label>Umfrage-Link:</label> und ersetzen Sie in der nächsten Zeile den Inhalt des <td>-Tags wie folgt:

Der erste Parameter in der Funktion provideWorkerLink() ist der URL-Link Ihrer Umfrage.

Der zweite Parameter ist für die Anzeige des Links notwendig.

Sie können sich noch immer für oder gegen einen Umfragecode entscheiden. Wenn Sie keinen haben möchten, entfernen Sie einfach die Zeile:

Nachdem Sie diese Änderungen vorgenommen haben, klicken Sie erneut auf die Schaltfläche „Quelle“ und bearbeiten die anderen Texte, z. B. die Studienbeschreibung.

Standardmäßig wird im obigen Code die Arbeiter-ID als Referenz (Variable REF) gespeichert. Sie können zusätzlich die Zuweisungs-ID und die HIT-ID speichern.

Erstellen Sie in SoSci Survey eine Frage vom Typ Gerät und übermittelte Variablen. Gehen Sie in dieser Frage auf die Registerkarte Variablen (POST/GET) und geben Sie die folgenden zu speichernden GET-Schlüssel ein:

• workerId
• assignmentId
• hitId

Speichern Sie die Frage und platzieren sie auf der ersten Seite Ihres Fragebogens.

Wahrscheinlich werden Sie Ihren Datensatz bereinigen, z. B. auf der Basis von instruierten Antwort-Items (sehr gut), Schein-Items (ebenfalls gut) und/oder Antwortzeiten (fair, erwägen Sie die Verwendung von TIME_RSI).

Sie haben die Arbeiter-IDs von allen verbleibenden Datensätzen, die Ihren Qualitätskriterien entsprechen. Natürlich könnten Sie alle Zuweisungen in MTurk manuell überprüfen, aber das nimmt viel Zeit in Anspruch. Arbeiten Sie besser mit einer CSV-Datei.

Für die CSV-Datei benötigen Sie die HIT-ID und die Zuweisungs-ID. Wenn Sie der obigen Anleitung gefolgt sind, stehen Ihnen diese Daten zur Verfügung. Erstellen Sie dann eine Tabelle (mit R, SPSS, LibreOffice Calc, Excel, …) mit drei Spalten aus Ihren Daten: Die erste Spalte enthält die HIT-ID, die zweite Spalte enthält die Zuweisungs-ID und die dritte Spalte muss für jeden Eintrag ein „x“ enthalten.

Die erste Zeile der Tabelle ist der Kopf, die Variablennamen. Achten Sie darauf, dass die Variablennamen wie folgt lauten (Groß- und Kleinschreibung beachten):

• HITId
• AssignmentId
• Approve

Speichern Sie dann die Tabelle als CSV-Datei und klicken Sie in MTurk → Manage → Review Results auf die Schaltfläche Upload CSV. Wählen Sie die neu gespeicherte CSV aus und bestätigen Sie. MTurk wird Sie dann fragen, ob Sie diese Aufträge annehmen möchten.

Wenn Sie fertig sind, sollen nur noch die Zuweisungen übrig bleiben, die Ihren Qualitätskriterien nicht entsprochen haben. Lehnen Sie sie ab und erklären Sie, warum.

Alternativ löschen Sie die Datensätze bei der Datenbereinigung nicht sofort, sondern markieren sie. Sie können dann eine CSV-Datei mit vier Spalten hochladen, die vierte mit dem Namen „Ablehnung“ und mit einer Erklärung für die Ablehnung in der Spalte. So stellen Sie sicher, dass Sie niemanden ablehnen, dessen ID verloren gegangen ist.