Vermeiden Sie Fehler bei Umfragen und sichern Sie Datenqualität mit Survalyzer

Vermeiden Sie Fehler bei Umfragen und sichern Sie Datenqualität mit Survalyzer

Datenqualität in der Umfrageforschung verstehen

Um verlässliche Daten aus Umfragen zu erhalten, muss man nicht nur Fragen stellen, sondern auch wirklich zuhören, was die Menschen zu sagen haben. Aber das ist nicht immer einfach. Wir müssen sicherstellen, dass unsere Fragen klar sind und dass wir sie auf die richtige Weise stellen. Manchmal stoßen wir auf Probleme, wie z. B. schlecht gestaltete Fragebögen oder die falsche Auswahl der zu befragenden Personen, was die Antworten verfälschen kann, die wir erhalten.

Dieser Artikel bereitet Sie auf häufige Fallstricke vor, indem er verschiedene Arten von Umfragefehlern untersucht, Hilfsmittel zur Erkennung anbietet und einfache Vermeidungsstrategien vorstellt. Er konzentriert sich insbesondere auf Fehler bei der Beantwortung von Fragen und stellt diese in den Mittelpunkt unserer Diskussion.

Sie finden hier auch eine Aufzeichnung des Webinars, das wir mit marktforschung.de durchgeführt haben. Darin werden die gleichen Themen ausführlicher behandelt und es gibt eine Fragerunde. Es ist eine gute Ressource, wenn Sie die Themen besser verstehen wollen.

Webinar-Aufzeichnung

Fehlertypen in der Umfrageforschung

In der traditionellen Marktforschungslandschaft werden Erhebungsfehler seit langem in zwei Hauptkategorien unterteilt: Stichprobenfehler und Nicht-Stichprobenfehler. Diese Klassifizierung ist zwar weithin anerkannt und wird in der akademischen Literatur und Forschung verwendet, sie kann jedoch einen kontraintuitiven Rahmen darstellen. Wir haben dieses Problem erkannt und eine einfachere, intuitivere Klassifizierung entwickelt, die die häufigsten Probleme bei Umfragen direkt auf den Punkt bringt.

Aufschlüsselung der häufigsten Erhebungsfehler - Klassifizierung

Ein neues Modell zum Verstehen von Umfragefehlern

Unser neues Klassifizierungssystem konzentriert sich auf die Bereiche, in denen Fehler am meisten schaden, und verwendet zwei Hauptkategorien, um sie zu ermitteln und zu beheben:

Fehler bei der Teilnehmer-Auswahl

Diese Kategorie erweitert die Definition von Stichprobenfehlern und umfasst auch Probleme im Zusammenhang mit der Auswahl der Teilnehmer und ihrer Bereitschaft zu antworten:

A. Non-Response-Fehler: Hier wird das Problem hervorgehoben, wenn ausgewählte Teilnehmer sich nicht an der Umfrage beteiligen.

B. Falsche Stichprobenmethode: Dazu gehören nicht nur die üblichen Fehler bei der Auswahl der zu befragenden Personen (wie herkömmliche Stichprobenfehler), sondern auch Probleme, die mit der Wahl eines ungeeigneten Stichprobenverfahrens einhergehen.

C. Erfassungsfehler: Dies bezieht sich auf Probleme wie das Auslassen relevanter Personengruppen oder zu kleiner (Teil-)Stichproben, wodurch ein umfassenderes Bild oder genauere Daten verunmöglicht werden.

Fehler bei der Beantwortung

Diese Kategorie konzentriert sich auf Fehler, die während des Beantwortungsprozesses auftreten, und zeigt, wie die Teilnehmer mit den Umfragen interagieren:

D. Reihenfolgefehler: Sie treten auf, wenn die Reihenfolge der Fragen die Antworten aufgrund von Primacy-Effekten (mehr Erinnerung an die ersten Items) und Recency-Effekten (mehr Erinnerung an die letzten Items) beeinflusst. Beim Vergleich von Produkten kann ausserdem die Meinung über das zweite Produkt durch Details des ersten Produkts beeinflusst werden. Eine abwechselnde Reihenfolge der Fragen oder die Präsentation der Fragen nach dem Zufallsprinzip hilft, diesen Verzerrungen entgegenzuwirken.

E. Andere Messfehler: Erfasst ein breites Spektrum von Problemen, die zu Datenverzerrungen führen, die in erster Linie auf Missverständnisse bei Fragen, Antwortoptionen oder Anweisungen zurückzuführen sind. Ein klassisches Beispiel ist die unterschiedliche Bedeutung der Schulnoten 1-6 in der Schweiz und in Deutschland, wo die Notenskala umgekehrt ist.

F. Schlechte Antworten: Konzentriert sich auf Fälle, in denen die Antworten die Ansichten oder das Wissen der Befragten nicht genau widerspiegeln, weil die Befragten beispielsweise den Fragen weniger Aufmerksamkeit schenken oder sie für unwichtig halten. Diese Verhaltensweisen beeinträchtigen nicht nur die Datenqualität, sondern stellen auch die Gültigkeit unserer Forschungsergebnisse in Frage. Entlang dieser neuen Sichtweise prüfen wir praktische Massnahmen und Möglichkeiten, um diese Fehler zu vermeiden und sicherzustellen, dass die Umfragen genau die Erkenntnisse erfassen, nach denen man sucht.

Fehler bei schlechten Antworten erkennen

Es gibt mehrere Strategien, um unseriöse Antworten aufzuspüren und zu beseitigen und sicherzustellen, dass die erhobenen Daten sowohl genau als auch zuverlässig sind:

Fangfragen

Mit Hilfe von Fangfragen können wir herausfinden, ob die Umfrageteilnehmer sich nur beeilen und die Antworten zufällig auswählen. Es handelt sich um einfache Fragen, bei denen die Teilnehmer eine bestimmte Antwort auswählen müssen. Wenn sie falsch liegen, waren sie wahrscheinlich nicht aufmerksam genug.

Diese Fragen sind sehr nützlich für Online-Panels oder wenn die Teilnehmer etwas für das Abschließen der Umfrage erhalten. Das Ziel ist es, sicherzustellen, dass die Teilnehmer tatsächlich über ihre Antworten nachdenken und nicht nur schnell durchklicken, um eine Belohnung zu erhalten. Es ist jedoch wichtig, dass diese Fragen einfach gehalten werden und nicht nervig oder beleidigend sind. Wir können die Fangfragen in verschiedene Arten unterteilen:

Fangfrage im Survalyzer Fragebogenersteller
  • Anweisungsfrage: Eine einfache Anweisung, wie ‚Bitte wählen Sie die 6. Option aus‘, testet, ob die Befragten den Anweisungen folgen.“

  • Konsistenzprüfungen: Es werden ähnliche Fragen in verschiedenen Formaten während der gesamten Umfrage gestellt, um sicherzustellen, dass die Antworten konsistent sind und Unaufmerksamkeiten auffallen. Zum Beispiel könnte ein Befragter zu Beginn der Umfrage nach seinem Alter gefragt werden und dann gegen Ende gebeten werden, seinen Altersbereich aus einer Liste auszuwählen.

  • Ausschlussfrage: Fragen wie ‚Erkennen Sie das Nicht-Obst: Apfel, Karotte, Banane,‘ prüfen das kritische Denken und die Aufmerksamkeit für Details.

  • Faktische Fragen: Einfache Tatsachen, z.B. ‚Der Himmel ist blau. Wahr oder Falsch?‘ überprüfen, ob die Befragten aufpassen.“

Speeders

Eine zu hohe Antwortgeschwindigkeit tritt auf, wenn die Teilnehmer, die so genannten „Speeders“, eine Umfrage zu schnell durchlaufen und sich nicht richtig mit den Fragen auseinandersetzen oder durchdachte Antworten geben. Eine überhastete Vorgehensweise kann zu inkonsistenten oder zufälligen Antworten führen und die Qualität Ihrer Daten beeinträchtigen.

Es gibt sowohl gleichmäßig schnelle (Uniform Speeders) als auch solche, deren Aufmerksamkeit auf halbem Wege nachlässt (Early-Exit, Selective und Fatigued Speeders).

Um sie zu identifizieren, müssen die Antwortmuster analysiert werden, z.B. durch Zeitanalyse, bei der die Antwortzeiten ausgewertet werden.

Strategien zur Verringerung:

  • Begrenzen Sie die Anzahl der Fragen: Halten Sie die Umfragen kurz und bündig, um die Versuchung zu verringern, die Antworten zu beschleunigen.
  • Unterschiedliche Fragetypen einbeziehen: Eine Mischung aus Multiple-Choice-Fragen und offenen Fragen kann die Befragten bei der Stange halten und sie davon abhalten, zu schnell zu antworten.
  • Legen Sie Mindestzeitschwellen fest: Die Festlegung einer erforderlichen Mindestzeit für die Fertigstellung der Umfrage kann Schnellantworter abschrecken.

Bad Open End

Die Überprüfung offener Antworten ist eine gute Möglichkeit, unzuverlässige Umfrageteilnehmer zu erkennen. In der Regel finden Sie Hinweise darauf, dass die Befragten der Frage mit „k.A.“ oder Leerzeichen ausweichen oder kurze Antworten wie „gut“ oder „okay“ auf alles geben. Das wirft die Frage auf, ob die Befragten wirklich aufmerksam sind oder ob es sich vielleicht sogar um einen Bot handelt. Manchmal schweifen diese Personen vom Thema ab und sprechen vielleicht sogar über die Umfrage, anstatt die Frage zu beantworten. Ihre sehr knappen oder am Thema vorbeigehenden Antworten können die Analyse und die Erkenntnisse verfälschen.

Strategien zur Verringerung:

  • Validierung von Antworten: Durch die Implementierung von Validierungsregeln, die eine Mindestanzahl von Wörtern oder Zeichen vorschreiben, wird sichergestellt, dass die Antworten ausreichend detailliert sind. Dies verhindert nicht nur kurze, wenig überzeugende Antworten, sondern ermutigt die Befragten auch, sich intensiver mit der Frage zu befassen.
  • Crowdsourcing: Nutzen Sie ein breiteres Publikum, um die Qualität der offenen Antworten zu überprüfen und zu bewerten. Diese „Weisheit der Masse“ hilft dabei, wenig aussagekräftige, irrelevante oder zweideutige Antworten aus verschiedenen Perspektiven zu identifizieren.

Straight Liners

Hatten Sie schon einmal das Gefühl, dass jemand in Ihrer Umfrage nur zufällige Antworten angeklickt hat? Das nennt man „straight-lining“. Das passiert, wenn die Befragten aus Langeweile, Müdigkeit oder Überforderung immer wieder dieselbe Antwort auswählen, ohne sich die einzelnen Fragen genau anzusehen. Vielleicht tun sie dies, um schnell fertig zu werden, oder es ist ihnen einfach egal, was zu unbrauchbaren Daten für Sie führt.

Strategien zur Verringerung:

  • Engagement für die Umfrage: Die Verbesserung der Interaktivität und des allgemeinen Engagements von Umfragen kann die richtige Lösung sein. Dieser Ansatz macht die Umfrage nicht nur angenehmer, sondern trägt auch dazu bei, die Aufmerksamkeit der Befragten aufrechtzuerhalten und die Tendenz zu geradlinigen Antworten zu verringern.
  • Durchdachte Teilnahme: Das Anbieten von Anreizen für detailliertes Feedback ermutigt die Befragten, sich ihre Antworten genauer zu überlegen. Indem Sie Qualität statt Schnelligkeit belohnen, werden die Teilnehmer eher bereit sein, wertvolle Beiträge zu leisten.
  • Vermeiden Sie Grid- oder Matrixfragen: Verwenden Sie diese Fragen mit Vorsicht. Sie können die Befragten dazu verleiten, sich zu beeilen, so dass die Umfrage einfacher erscheint, als sie tatsächlich ist. Ziehen Sie alternative Fragetypen in Erwägung, um ein „straight-lining“ zu vermeiden.

Interview Qualitätskontrolle in Survalyzer

Survalyzer verbessert die Zuverlässigkeit von Umfragen mit seiner Funktion zur Qualitätskontrolle von Befragungen, die entwickelt wurde, um Antworten zu sichten und diejenigen von fragwürdiger Qualität zu identifizieren. Dieses System besteht aus verschiedenen Teilen, die zusammenarbeiten, um festzustellen, ob die Antworten zuverlässig sind. Für eine eingehende Untersuchung lesen Sie bitte unseren detaillierten Leitfaden in unserem Bildungszentrum.

Qualitätsindikatoren

Survalyzer identifiziert Interviews von fragwürdiger Qualität anhand von vier Hauptindikatoren:

  • Trap Condition: Bewertet, ob die Befragten auf Fangfragen hereinfallen, auf die es nur eine richtige Antwort gibt, um die Aufmerksamkeit zu messen.
  • Speeders: Bewertet, ob eine Antwort in deutlich weniger Zeit als dem Median abgeschlossen wurde, was auf Eile statt Genauigkeit hindeutet.
  • Straight Liner: Prüft auf sich wiederholende Antwortmuster in Matrixfragen, die auf mangelndes Engagement hindeuten.
  • Bad Open End: Analysiert offene Antworten auf Tiefe und Relevanz, wobei KI-Tools den Sprachgebrauch und die Kohärenz untersuchen.
Interview quality control feature in Survalyzer's questionnaire builder

Regeln zur Qualitätskontrolle

Um ein Interview als „schlechte Qualität“ einzustufen, wendet Survalyzer vier Regeln an, die die Indikatoren integrieren:

  • Speeder-Regel: Ein Interview, das beim Speeder-Indikator 100 % erreicht, wird sofort als schlecht eingestuft.
  • 1-von-2-Regel: Ein Interview wird als schlecht eingestuft, wenn es bei zwei der vier Indikatoren einen Wert von 100% erreicht.
  • 240%-Regel: Ein Interview wird als schlecht eingestuft, wenn die Gesamtpunktzahl aller Indikatoren 240 % erreicht oder überschreitet, auch wenn kein einzelner Indikator 100 % erreicht.
  • Double trap-Regel: Wird ausgelöst, wenn ein Interview in zwei oder mehr Fallenbedingungen fällt und somit als schlechte Qualität eingestuft wird.

Zusammenfassung

Im Laufe dieser Untersuchung haben wir Ihnen Werkzeuge und Strategien an die Hand gegeben, mit denen Sie häufige Fallstricke umgehen können, von der Identifizierung heimtückischer „Raser“ bis hin zum Ausfiltern von Antworten mit geringem Aufwand. Denken Sie daran, dass selbst kleine Verbesserungen der Datenqualität einen gewaltigen Einfluss auf Ihre Forschungsergebnisse haben können. Wenn Sie diese Verfahren anwenden, wird Ihre Forschungsbasis gefestigt und Sie können fundierte Entscheidungen auf der Grundlage solider, zuverlässiger Daten treffen.

Wenn Sie unsere Interview-Qualitätskontrolle in Survalyzer Professional Analytics ausprobieren möchten, können Sie sich jederzeit an unser Vertriebsteam wenden und wir können Ihren Plan auf Ihre Bedürfnisse zuschneiden.

Christian Hyka

Managing Partner

Sind Sie bereit, die Qualität Ihrer Umfragedaten zu verbessern?

Steigern Sie die Zuverlässigkeit Ihrer Umfragedaten mit der innovativen KI-Qualitätskontrolle von Survalyzer. Machen Sie den ersten Schritt zu einer besseren Forschung und buchen Sie eine Demo.

Demo buchen
Related Posts