Rekrutierung der Befragten

Die zu Befragenden können beispielsweise per E-Mail, postalisch oder per Telefon zur Teilnahme gebeten werden. Ist eine breite Streuung gefragt oder nur eine spezielle Gruppe von Personen interessant, so werden Anzeige (Banner, PopUp, PopIn, Layer) geschaltet oder Aufrufe zur Teilnahme auf Internetseiten oder in thematisch relevanten Foren veröffentlicht. In den Fällen, in denen Personen nicht individuell kontaktiert werden, stoßen sie beim Surfen mehr oder weniger zufällig auf die Aufforderung zur Teilnahme und entscheiden dann selbst, ob sie den Fragebogen durchlaufen wollen oder nicht.

Insbesondere die häufig auf Webseiten anzutreffenden Umfragen, an denen jeder ohne besondere Aufforderung teilnehmen kann, werden zur wissenschaftlichen Verwendung häufig kritisiert. Die Befragten werden dabei nicht kontrolliert als Stichprobe aus einer Grundgesamtheit ausgewählt, sondern entschließen sich selbst zur Teilnahme (Selbstselektion). Gerade bei kontroversen Themen gibt es in Internetforen und auf anderen Webseiten auch Massenaufrufe zur Teilnahme an bestimmten Umfragen um diese in der gewünschten Art zu beeinflussen. Allgemein kritisiert wird die mangelnde Repräsentativität solcher Auswahlverfahren. Dabei ist allerdings zu unterscheiden, ob die Grundgesamtheit derer, die den Aufruf lesen mit der interessanten Grundgesamtheit identisch ist (etwa bei einer Befragung zur Qualität einer einzelnen Website) oder nicht (etwa wenn die gesamte Bevölkerung eines Landes untersucht werden soll). Außer Frage steht, dass die Selbstselektion mit bestimmten Personenmerkmalen verbunden ist, über die bislang wenig bekannt ist.

Die Mehrfachabstimmung durch einzelne Teilnehmer kann nicht grundsätzlich verhindert werden. Schutzmaßnahmen (Speicherung der IP-Adresse, Verwendung von Cookies, Captchas usw.) lassen sich relativ leicht umgehen, sodass eine automatisierte Massenabstimmung durch Einzelne möglich ist. Zuverlässig unterbinden kann man Mehrfachabstimmungen nur, wenn die zu Befragenden vorab individuell kontaktiert werden und dabei einen individuellen Zugangsschlüssel erhalten. Durch geeignete Verfahren kann trotzdem die Anonymität der Befragten gewährleistet werden.

Praktisch sind Mehrfachabstimmungen nur begrenzt problematisch, nämlich bei Abstimmungen. In den meisten wissenschaftlichen Befragungen können Personen keine eigenen Ziele erreichen, indem sie Fragen beantworten. Deshalb wird sich kaum jemand den Aufwand machen, Fragebögen mehrfach zu beantworten oder gar eine technische Lösung zur Mehrfach-Beantwortung zu entwickeln.

Neue Möglichkeiten der Online-Umfrage

Das Internet als Befragungsmedium bietet dem Befrager interessante Möglichkeiten bei der Fragebogenentwicklung, die teilweise dem persönlichen Interview vorbehalten sind oder in anderen Erhebungsformen nicht verwendet werden können. Um Teilnehmer über das Internet zu akquirieren wird oft eine Prämie angeboten. Diese wird meist in Form von Geld oder Gutscheinen für jede ausgefüllte Online-Umfrage an den freiwilligen Teilnehmer ausgezahlt. Daraus resultiert, dass sich Webseiten im Internet auf die Vermittlung von Teilnehmern und Panels spezialisiert haben, und dadurch ein neuer Zweig im Bereich Online-Marktforschung entsteht.

Vorteile der Online-Umfrage

• Online-Umfragen sind wesentlich schneller zu realisieren als Befragungen von Angesicht zu Angesicht. Bei kleinen Stichproben (etwa bis 200 Fälle) sind Telefonumfragen und Online-Umfragen etwa gleich schnell. Bei großen Stichproben sind die Ergebnisse von Online-Umfragen dagegen meist schneller verfügbar.
• Online-Umfragen sind deutlich kostengünstiger als Befragungen von Angesicht zu Angesicht und telefonische Befragungen. Ausnahme: Stichproben mit geringer Inzidenz in Online-Panels.
• Der Interviewereinfluss und damit auch der soziale Einfluss auf die Beantwortung von Fragen entfällt.
• Die manuelle Erfassung von Papier-Fragebögen entfällt, Erfassungsfehler können nicht auftreten.
• Die erhobenen Daten sind auf dem Server sofort verfügbar. In der Regel lassen sich jederzeit anschauliche Zwischenreports mit den wichtigsten Ergebnissen erzeugen.
• Multimedia-Befragungen sind möglich: Es können Bilder und Filme gezeigt werden und es können z. B. Jingles abgespielt werden.
• Die Befragung läuft computergestützt, das heißt, bestimmte Methoden (etwa Conjoint-Measurement) können relativ leicht eingebunden werden.
• Der Aufwand für die Internationalisierung von Fragebögen ist gering, der Teilnehmer kann selber seine Umfragesprache wählen
• Der Befragte entscheidet, wann er die Zeit für das Interview erübrigen kann.
• Spezielle Interessensgruppen oder auch geografisch verstreute Zielgruppen sind leicht ansprechbar, offline würde dies enormen Aufwand bedeuten.
• Der Fragebogen kann als Programm implementiert werden (technische Variante 2). Wenn man diese Variante wählt, ist ein logisch konsistenter Fragebogendurchlauf sichergestellt.
• Die Datenqualität von online erhobenen Daten ist meist hoch.
• Die standardisiert erhobenen Daten sind auch langfristig vergleichbar.

Nachteile der Online-Umfrage

• Repräsentativität
  • Vor allem zu Beginn der Online-Forschung war das größte methodische Problem die mangelnde Repräsentativität der willkürlichen Stichproben. Zum einen waren Ende der 1990er Jahre erst wenige Personen im Internet, so dass die Ergebnisse aus Internetbefragungen keinesfalls auf die Gesamtbevölkerung übertragen werden konnten. Dieses Problem hat sich durch die hohe Internetreichweite, vor allem in der am häufigsten befragten Zielgruppe der 18- bis 49-Jährigen, mittlerweile vermindert, dennoch reichen eine Erreichbarkeit von derzeit 67 % (Stand 2009) nicht für bevölkerungsrepräsentative Erhebungen aus. Besonders ältere Zielgruppen sind online noch schwerer zu erreichen. Einschränkend muss aber an dieser Stelle auch gesagt werden, dass Telefonumfragen ein ähnliches Problem in entgegengesetzter Richtung haben: Diese erreichen wiederum jüngere Zielgruppen nicht mehr, weil diese keinen Festnetzanschluss mehr nutzen oder sich nicht im Telefonbuch eintragen lassen. Eine Lösung sind so genannte „mixed-mode“-Befragungen, die beide Wege gehen.
  • Vor allem in der Pionierphase der Onlineforschung wurden Personen einfach in großer Zahl per Werbebanner in Befragungen rekrutiert. Auch dieses Vorgehen führt zu nicht repräsentativen Stichprobenziehungen, da durch die inhaltliche Ausrichtung der Sites, auf denen geworben wird, eine Vorauswahl stattfindet. Zudem findet eine Selbstauswahl der Probanden statt (Selbstselektion). Dieses Problem hat man durch die Einrichtung großer Befragtenpools, so genannten Panels, gelöst. Hier entscheidet nur das durchführende Institut, welcher Panelteilnehmer an einer Befragung teilnimmt. Auch die Online-Panels können sich einer gewissen Selbst-Selektivität nicht entziehen, doch wird die Panelforschung in der Praxis mittlerweile als hinreichend repräsentativ akzeptiert.
• Ein weiteres methodisches Problem bei Internetbefragungen kann durch einen zu hohen Anteil von Interviewabbrechern entstehen. Hierdurch sinkt die Ausschöpfung der Stichprobe, wodurch wiederum die Repräsentativität der Ergebnisse leidet. Deshalb werden häufig finanzielle Anreize geschaffen, den Fragebogen komplett auszufüllen. Auch die Fragebogengestaltung hat einen Einfluss auf die Abbrecherquoten.
• Ferner besteht die Gefahr, dass einzelne zu Befragende den Fragebogen mehrfach durchlaufen. Es gibt aber technische Möglichkeiten, diesem Problem zu begegnen, der Effekt verzerrt die Ergebnisse manchmal auch nur in geringer oder gar keiner Weise.
• Durch die mögliche Verknüpfung zwischen Adressdatenbank und Zugangslink (siehe Abschnitt Technische Umsetzung) ist die Anonymität der Teilnehmer gefährdet, sofern diese Verknüpfung vom Befragungsdurchführer tatsächlich hergestellt wird. Kundige Zielpersonen kann das von der Teilnahme an der Befragung abhalten (siehe dazu den Abschnitt Diskussion der methodischen Nachteile)
• Es besteht die Gefahr der Effekt der sozialen Entkontextualisierung: Durch die geminderte Orientierung der Probanden an sozialen Normen, die auf die Online-Umgebung zurückzuführen ist, werden soziale Aspekte in Online-Umfragen für weniger wichtig gehalten. Dafür werden individuelle Merkmale, wie Ziele oder Wünsche, hier stärker hervorgehoben.

Diskussion der methodischen Nachteile

• Zur Repräsentativität der Stichprobe: Die Erreichbarkeit aller Elemente der Stichprobe ist in folgenden Fällen gegeben oder kann hergestellt werden:
  • Wenn der Befragungsgegenstand selbst das Internet ist oder einen Internetzugang voraussetzt.
  • Wenn die Befragten per Telefon oder auf einem anderen Weg rekrutiert werden, über den die Grundgesamtheit im Prinzip vollständig erreicht werden kann, sollten diese Personen dann aber nicht über einen Onlinezugang verfügen, müssen sie mittels anderer Erhebungsmethode befragt werden.
• Zur Ziehung der Stichprobe (Vermeidung der Auto-Selektion): Die Ziehung der Stichprobe aus den Elementen der Grundgesamtheit muss aktiv vom Durchführenden des Projektes vorgenommen werden. Nur die gezogenen Elemente müssen dann aktiv zur Teilnahme aufgefordert werden. Um zu vermeiden, dass sich andere Befragte durch Zufall oder durch Selbst-Selektion einfinden, müssen die selektierten Elemente der Grundgesamtheit über ein Passwort oder über einen nur ihnen einzeln mitgeteilten Link privilegiert werden.
• Zur geringen Ausschöpfung (zu wenige Elemente der Stichprobe beginnen mit dem Ausfüllen des Fragebogens und/oder zu viele brechen im Fragebogen ab): Dieses Problem kann durch Anreize monetärer und nichtmonetärer Art, durch Erinnerungs-E-Mails oder auch Erinnerungs-Anrufe gemildert werden. Das ist nur möglich, wenn man eine methodische und technische Vorgehensweise gewählt hat, die einen Zugriff auf die zu befragende Person erlaubt. Hierbei ist zu berücksichtigen, dass durch die Incentivierung eine Verzerrung entstehen kann.
• Zum Mehrfachdurchlaufen des Fragebogens durch ein und dieselbe Person: Dies kann durch Vergabe eines eindeutigen Passwortes an jedes Element der Stichprobe oder einen nur einmal verwendbaren Link zum Fragebogen vermieden werden. Für den Fall, dass der Fragebogen unterbrochen wird, muss es dann ein Verfahren geben, dass der Befragte zum Zwecke der Fortsetzung ein weiteres Mal Zugang findet – aber nur zu den noch nicht beantworteten Fragen. Bei völliger Anonymität der Befragten ist der Mehrfachdurchlauf nicht vermeidbar. Einige Mehrfachantworten lassen sich in Ausnahmefällen beispielsweise durch Vergleich von IP-Adressen, besser durch Cookies aussortieren. IP-Adressen können jedoch falsche Ergebnisse liefern, da Teilnehmer etwa eines Unternehmens eine identische IP-Adresse haben können, aber doch verschiedene Probanden sind. Bei einer Identifizierung durch die Verwendung von Cookies ist zu berücksichtigen, dass ein Cookie nur eine begrenzte Lebensdauer hat. Die oben diskutierten methodischen Schwächen dieses Vorgehens verliert aber das Problem des Mehrfachdurchlaufs an Bedeutung.
• Zum Misstrauen der/des Befragten, weil die befragende Institution auf die Personendaten Zugriff hat: Das kann wohl nur durch das seriöse Image des Befragenden gelöst werden. Dieses Problem ist allerdings nicht auf Online-Umfragen beschränkt: Auch bei telefonischen Befragungen und natürlich auch bei Face to Face Befragungen ist der durchführenden Institution oder Person zum Zeitpunkt des Interviews das befragte Individuum grundsätzlich mit wesentlichen persönlichen Daten (Name, Adresse, Telefonnummer) bekannt.
• Zum Effekt der sozialen Entkontextualisierung: Die Forschung hierzu ist noch am Anfang, vor allem in Deutschland. Da es sich hierbei um einen Methodeneffekt handelt, kann ihm nicht durch Vorkehrungsmaßnahmen im Forschungsprozess vorgebeugt werden. Je nach Fragestellung wirkt er sich jedoch auch nicht zu stark aus bzw. kann eventuell sogar hilfreich sein (zum Beispiel wenn man die ganz persönlichen Wünsche erforschen will).

Mitarbeiterbefragungen innerhalb von Unternehmen und (globalen) Konzernen

Hier sind viele der diskutierten Nachteile dieser Befragungsform weniger stark ausgeprägt bzw. besser kontrollierbar. Die Grundgesamtheit kann eindeutig bestimmt werden; durch Personallisten kann eindeutig angegeben werden, wer zur Grundgesamtheit gehört und wer nicht. In den meisten Unternehmen verfügen heutzutage alle Mitarbeiter über die Möglichkeit des Internet- oder Intranetzuganges. Angestrebte Grundgesamtheit und Erhebungs-Grundgesamtheit (also die Menge der Objekte der Grundgesamtheit, aus der faktisch die Stichprobe gezogen wird) weisen so eine hohe Übereinstimmung auf. Allerdings gilt auch für Online-Umfragen in Unternehmen, dass die zu befragenden Personen durch angemessene Stichprobenverfahren ausgewählt werden. Befragungen, bei denen der Teilnehmer selbst entscheidet, ob er teilnimmt oder nicht (Selbstselektion), entsprechen nicht den Anforderungen an eine repräsentative Erhebung (siehe z. B. die Standards für die Durchführung von Online-Umfragen des Arbeitskreises Deutscher Markt- und Sozialforschungsinstitute e.V. – ADM).

Immerhin kann das Unternehmen durch Kommunikation und Ansprache der Mitarbeiter einer Umfrage einen hohen Stellenwert zuweisen und damit die Gefahr verringern, dass ausgewählte Mitarbeiter nicht teilnehmen oder die Befragung vorzeitig abbrechen. Andere Vorteile kommen voll zum Tragen: Die Befragung kann innerhalb kurzer Zeit in aller Welt zu sehr geringen Kosten durchgeführt werden. Tageszeit und Ort spielen keine Rolle, die Kosten der Kommunikation sind durch die ohnehin vorhandene Vernetzung und Internetpräsenz in aller Regel bereits bezahlt.

Anzeigentests mit CATI-Begleitung

Bei dieser Interviewform werden ein Computer Assisted Telephone Interview (CATI)- und ein Online-Interview gleichzeitig durchgeführt. Da die Rekrutierung über das CATI-Interview erfolgt und der Interviewer dafür Sorge trägt, dass die befragte Person nicht vorzeitig abbricht, sind wesentliche Nachteile der Online-Befragung ausgeschaltet. Der CATI-Interviewer durchläuft den Online-Fragebogen zusammen mit der befragten Person. Entweder stellt er die Fragen und gibt die Antworten in seinen CATI-Fragebogen ein oder die befragte Person gibt selbst im Online-Fragebogen die Antworten ein. Auch Mischformen sind denkbar. Dieser Befragungstyp wird häufig angewendet, wenn Anzeigenmotive oder Verpackungsdesigns zu bewerten sind. Er vereinigt die Vorteile der direkten Ansprache aus dem telefonischen Interview mit der Multimedia-Kapazität des Internets.