Wie man eine Umfrage erstellt, die Befragte mögen werden…
und warum dies der Schlüssel zu tieferen und umsetzungsfähigeren Erkenntnissen ist.
Es war ein Glückstreffer, eine zufällige Entdeckung.
Erinnern Sie sich an die heißen Tage im Sommer 2018? An einem dieser Tage wollten wir eine mobile Umfrage mit 16 Fragen starten, von denen 8 offen waren. Mein Kollege David, der neben mir schwitzte, sagte: „Das wird nie funktionieren! Wer will auf 8 offene Fragen antworten, auf einem Handy?“. Dennoch hatten wir keine andere Wahl. Wir fügten sogar noch zwei weitere Fragen hinzu: „Hat dir diese Umfrage gefallen“ und „Warum?“
Das Ergebnis war eine Überraschung. Im Durchschnitt geben etwa 50% der Befragten in herkömmlichen Umfragen an, dass ihnen die Umfrage gefallen hat. Unsere mobile Umfrage erreichte eine Zufriedenheitsrate von 91%. Wow!
Sie werden sich fragen, „warum?“. Das ist genau das, was wir die Teilnehmer gefragt haben. Die am häufigsten genannten Gründe waren „es war einfach“, „das waren gute Fragen“ und „es war schnell“. (tatsächlich betrug die durchschnittliche Zeit 5 Minuten, was eine ziemlich lange Dauer auf einem Mobiltelefon ist).
Sind Sie mit diesen Antworten zufrieden? Wir haben sie genauer überprüft. Wenn ein Grund ein echter Grund ist, muss es möglich sein, seine Nennung dafür zu nutzen, um die Zufriedenheit besser vorherzusagen (in einem multivariaten Modell). Dies ist eine Grunderkenntnis, der Vätern der Kausalitätsforschung wie dem Nobelpreisträger Clive Granger.
Deshalb bauten wir ein flexibles (Machine Learning basiertes) Vorhersagemodell und entdecken etwas ganz Spannendes. Keiner der häufig genannten Gründe sagt gut voraus, warum den Befragten die Umfrage gefallen hat. Stattdessen sind zwei weitere Gründe sehr prädiktiv.
Die Textantwort „Die Umfrage war einfach“ wurde von 10% der Befragten erwähnt und war ein starker Indikator für die Freude an der Umfrage. Außerdem wurden Nennungen, die sich wie folgt zusammenfassen lassen von 9% erwähnt: „Ich mochte die Möglichkeit, meine Gefühle mit meinen eigenen Worten zu beschreiben“. Dies stellte sich als noch stärkerer Prädiktor heraus.
Die jüngsten Versuche, die Teilnahmebereitschaft von Befragten in der Branche zu erhöhen, kreisen typischerweise um vielfältige, unterhaltsame Befragungsvariante und die Nutzung von mehr Gamification-Ansätzen. Aber was wir mit dieser Studie lernten ist, dass es weniger darum geht, ausgefeiltere Fragen zu stellen, als vielmehr darum, sie wirklich einfach zu halten und den Befragten die Möglichkeit zu geben, auf authentischste Weise die es gibt zu kommunizieren: Das verwenden der eigenen Worte.
Sie mögen fragen: „Ok, aber ist die Kodierung von Open-Text-Antworten wirtschaftlich überhaupt machbar und attraktiv?“ Neueste Technologien, die Natural Language Processing und Machine Learning kombinieren, können automatisch große Textmengen kodieren. Das von uns verwendete System muss von einem menschlichen Programmierer trainiert werden. Dann hat seine Ausgabe eine vergleichbare Vorhersagekraft mit menschlichen Kodierungen.
„Ok, aber was bedeutet das für die Verbesserung der Qualität der Erkenntnisse?“
Wir haben gelernt, dass wir die authentischsten und besten Informationen von den Befragten (z.B. Ihren Kunden) erhalten, indem wir sehr einfache Fragen stellen und sie mit ihren eigenen Worten antworten lassen. Gleichzeitig haben wir jetzt die Technologie, um versteckte Erfolgsfaktoren in diesen einfachen Textantworten zu entdecken.
Wir können mit diesen Methoden nicht nur erfahren, was mit Umfragen wirklich Spaß macht, sondern auch, warum Kunden loyal sind oder Ihre Marke eher empfehlen. Wir können auch erfahren, warum sie bestimmte Marken berücksichtigen oder sich für eine neue Produktinnovation entscheiden.
Durch diesen Einsatz extrem einfacher und kostengünstiger Forschungsmethoden können wir wertvolle Erkenntnisse gewinnen, die für den Erfolg entscheidend sind. Was könnte spannender sein?
Wenn Sie tiefer eintauchen möchtest…. z.B. wie Sie das für Ihr NPS-Programm oder Brand Tracker, lassen Sie es mich einfach wissen
Ihr, Frank Buckler