Sinn und Unsinn von Online-Access-Panels

In den letzten Tagen wurde eine Umfrage zu Einstellungen und Rollenbildern von jungen Männern in den Medien und in der Fachcommunity der Markt- und Meinungsforschung kontrovers diskutiert. In der Diskussion über die Aussagekraft der Umfrage wurden unter anderem Zweifel an der Repräsentativität der Befragung angemeldet. Die Kritik machte sich vor allem an der Erhebungsmethode in Form eines Online-Access-Panels fest, die keine repräsentativen Aussagen über die anvisierte Grundgesamtheit erlauben würde. Ohne an dieser Stelle in die Debatte über die Validität der Ergebnisse der genannten Umfrage einsteigen zu wollen, möchte ich in diesem Blogartikel die Methode des Online-Access-Panels kritisch reflektieren und die (sinnvollen) Anwendungsfelder sowie die Vor- und Nachteile von Online-Access-Panels aufzeigen. 

Neben den großen Anbietern gibt es Online-Access-Panels, die sich auf spezielle Zielgruppen (zum Beispiel Führungskräfte, Agrar-, Medizinsektor oder andere branchenspezifische Zielgruppen) fokussiert haben. So können auch für besondere Zielgruppen und Nischenmärkte die für die quantitative Forschung benötigten umfangreichen Stichproben erhoben werden. Die Access-Panels sind dabei natürlich nicht auf einzelne Länder beschränkt, sondern auch für internationale Umfragen verfügbar.

Online-Access-Panels bieten gegenüber anderen Erhebungsmethoden wie einer telefonischen Befragung mit Zufallsauswahl oder der persönlichen Befragung eine Reihe von Vorteilen:

• Erreichbarkeit spezieller Zielgruppen: Möchte man beispielsweise die Nutzerinnen und Nutzer von Fitnessstudios zu ihren Bedarfen beim Training befragen, müsste zum Erreichen der gewünschten Stichprobengröße die Anzahl der Befragten bei einer telefonischen Zufallsauswahl um ein Vielfaches höher ausfallen als bei einem entsprechend vorselektierten Online-Access-Panel. 

• Vergleichsweise kostengünstig: Im Vergleich zu telefonischen oder sogar persönlichen Befragungen lassen sich Umfragen mit Online-Access-Panels deutlich kostengünstiger gestalten. Das gilt insbesondere für sehr umfangreiche Stichproben oder für internationale Befragungsprojekte. Für sehr spezielle Zielgruppen mit einer nur geringen Häufigkeit in der Grundgesamtheit der Gesamtbevölkerung (Inzidenz) steigen allerdings auch bei den Panelanbietern die Kosten. Da die Panelmitglieder für eine längere Bearbeitungszeit der Umfrage in der Regel auch eine höhere Incentivierung erhalten, steigt der Preis außerdem mit der Länge des Fragebogens.

• Kurze Feldzeit: Bei Online-Access-Panels kann die gewünschte Stichprobengröße meist innerhalb weniger Tage erreicht werden – nur bei sehr umfangreichen Befragungen, umfangreichen Quotierungen oder speziellen Zielgruppen kann sich die Feldzeit entsprechend verlängern.

Die Möglichkeit der kostengünstigen und flexiblen Nutzung von Online-Access-Panels ist allerdings auch mit einigen Nachteilen verbunden:

• Gefahr der Manipulation: Durch die monetäre Vergütung und anderer Incentivierungen besteht die verstärkte Gefahr von Manipulationsversuchen gewinnorientierter Panelmitglieder. Mit Hilfe von Mehrfachaccounts wird versucht, Umfragen wiederholt auszufüllen, um den Erlös durch die Incentivierung zu erhöhen. Auch größer angelegte Betrugsversuche mit Bots, die automatisiert Umfragen ausfüllen, kommen vor. Werden hier seitens des Panelanbieters keine geeigneten Vorkehrungen getroffen, sind die Umfrageergebnisse im schlimmsten Fall völlig unbrauchbar. 

• Mangelnde Datenqualität: Die extrinsische Motivierung der Panelmitglieder durch die Incentivierung kann zu mangelnder Qualität der abgegebenen Antworten führen, da nicht das Umfragethema selbst, sondern die Incentivierung die Hauptmotivation zur Teilnahme ist. Das beginnt bei nur sehr knapp gehaltenen Angaben zu offenen Fragen und endet bei willkürlich durchgeklickten Fragebögen, damit die Befragung möglichst schnell abgeschlossen wird. Ein solches Antwortverhalten lässt sich allerdings bis zu einem gewissen Grad durch den Forschenden identifizieren und die betroffenen Datensätze aus der Stichprobe entfernen: Befragte, die den Fragebogen nur schnell durchklicken (Speeder), lassen sich leicht anhand der vergleichsweise kurzen Ausfülldauer erkennen. Oft sind wenig gewissenhaft ausgefüllte Fragebögen auch durch wiederholtes Ankreuzen derselben Antwortposition (Straightliner) oder durch bestimmte wiederkehrende Antwortmuster (zum Beispiel Diagonalen bei Matrixfragen) gekennzeichnet. Inhaltliche Ungereimtheiten können durch den Einsatz von Kontrollfragen aufgedeckt werden, bei denen widersprüchliche Angaben im Fragebogen sichtbar gemacht werden. Die Identifizierung qualitativ mangelhafter Fragebögen kann bei steigender Stichprobengröße allerdings sehr zeitaufwendig werden und nicht alle „Durchklicker“ werden auf diese Weise ermittelt werden können.

• Problem der Repräsentativität: Einer der Hauptkritikpunkte an Online-Access-Panels ist die fehlende Repräsentativität aufgrund der Selbstselektion der Panelmitglieder. Repräsentative Umfragen erfordern streng genommen eine Zufallsauswahl der Befragten. Die Umfrageteilnehmer der Panels werden jedoch nicht zufällig aus der relevanten Grundgesamtheit ausgewählt, sondern diese haben sich selbst für die Teilnahme an Umfragen registriert. Das hat zur Folge, dass sich die Panelmitglieder im Hinblick auf bestimmte Merkmale systematisch von der Grundgesamtheit unterscheiden: Sie sind in der Regel internetaffiner, jünger, haben einen höheren Bildungsstand und ein höheres Einkommen. Im Hinblick auf Variablen wie Alter, Bildung oder Einkommen kann man dem Problem mit geeigneter Quotierung und Gewichtung begegnen und sich so einer repräsentativen Stichprobe zumindest annähern. Problematisch wird es allerdings, wenn der Untersuchungsgegenstand Merkmale oder Einstellungen der Befragten betrifft, die hoch mit den spezifischen Merkmalen der Panelpopulation korrelieren. Dann können die Ergebnisse der Umfrage stark von den tatsächlichen Ausprägungen in der Grundgesamtheit abweichen. Beim Thema Datenschutz und Datensicherheit persönlicher Daten im Internet werden Panelmitglieder zum Beispiel im Durchschnitt deutlich unbedarfter sein als Personen des gleichen Geschlechts, Alters und Bildungsstands, die nicht bei Panels registriert sind – ein Problem, das sich auch nicht einfach durch Quotierung oder Gewichtung beheben lässt.