Umfragen
Von wegen „repräsentativ“
Institute für Meinungsforschung suggerieren, sie könnten ein fast genaues Bild über die Stimmung im Volk ermitteln – In Wahrheit ist ihre Datengrundlage sehr dünn und oft beinahe willkürlich
Wenn Fernsehsender oder Zeitungen hierzulande verkünden, die „Mehrheit der Deutschen“ finde etwas gut oder schlecht, dann wird zumeist darauf verwiesen, dass diese Aussage das Ergebnis von repräsentativen Umfragen sei. Damit soll Seriosität signalisiert werden. Tatsächlich ist „Repräsentativität“ aber alles andere als ein verlässliches Qualitätssiegel. Denn der Begriff muss immer dann herhalten, wenn statistische Daten fehlen, und steht faktisch für die Auswahl und Befragung von einigen wenigen Personen stellvertretend für die Masse aller Deutschen.
So greift das ZDF-Politbarometer nur auf eine Stichprobe von reichlich 1000 Wahlberechtigten zurück, wenn es zeigen will, was die reichlich 60 Millionen potentiellen Wähler hierzulande denken. Dabei hat eine solche Methode durchaus ihre theoretische Berechtigung – sofern sie richtig angewandt wird. Brauchbare Stichproben vermitteln ein möglichst genaues Abbild der Grundgesamtheit, also in diesem Falle der deutschen Wähler, im Hinblick auf sämtliche Merkmale, welche für die Fragestellung von Belang sind. Wenn die Wählerschaft also beispielsweise zu 51 Prozent aus Frauen und zu 49 Prozent aus Männern besteht, dann muss das Verhältnis in der Stichprobe auch 51 zu 49 betragen. Das gilt ebenso für sämtliche wichtigen demographischen Merkmale.
In der Realität werden jedoch in aller Regel einfache Zufallsstichproben gezogen, bei denen die Repräsentativität allein dadurch zustandekommen soll, dass jeder Wahlberechtigte theoretisch die gleiche Chance hat, an der Befragung teilzunehmen. Beispielsweise, indem er bei einem Anruf im Anschluss an die computergestützte Erzeugung von Telefonnummern bereit ist, über seine Impfbereitschaft Auskunft zu geben.
PEW Research hegt ernste Zweifel
Aber das birgt vielerlei Tücken: Wer zum Zeitpunkt des Anrufs arbeitet, im Krankenhaus liegt oder beim Einkaufen ist, fällt aus. So wie auch die Obdachlosen und Taubstummen. Wer im Gefängnis sitzt oder seine Telefonrechnungen längere Zeit nicht bezahlt hat, scheidet ebenfalls aus. Und diejenigen, welche bei unerwünschten Anrufen Wutanfälle bekommen und auflegen, sowieso ... Damit sinkt die sogenannte „Ausschöpfungsquote“ bei den zufällig Ausgewählten, die idealerweise 100 Prozent betragen sollte, um wenigstens zu einer Repräsentativität Zweiter Klasse zu kommen, auf unter zehn Prozent. Das ergaben Untersuchungen wie die des PEW Research Center in Washington.
Um das Manko der geringeren Aussagebereitschaft oder -fähigkeit bestimmter Personengruppen zu kompensieren, werden dann die von den Vertretern dieser Gruppen tatsächlich getätigten Aussagen statistisch so aufbereitet, dass sie größeres Gewicht erhalten. Wenn also 21 Prozent der Deutschen über 65 Jahre alt sind, aber nur 16 Prozent der Umfrageteilnehmer dieses Alter erreicht haben, dann werden die Antworten der Letzteren nicht mit dem Faktor Eins gewichtet, sondern mit Eins Komma irgendetwas, damit die Relationen wieder „stimmen“.
Probleme gibt es aber auch alleine schon wegen der Natur des Zufalls an sich. Angenommen, in einer Grundgesamtheit sind die Vertreter einer bestimmten Meinung mit genau 50 Prozent vertreten. Dann müsste eine repräsentative Zufallsstichprobe mit 100 Probanden, bei der keinerlei Gewichtung nötig wäre, jeweils 50 Personen mit dieser Meinung und 50 Personen mit einer anderen enthalten. Tatsächlich jedoch ergibt sich anhand der Wahrscheinlichkeitsrechnung, dass dies nur für acht Prozent der Zufallsstichproben zutrifft. Die anderen 92 Prozent weisen dahingegen keine exakte 50-zu-50-Verteilung auf!
Problem der Mehrfach-Voten
Und auch große Stichproben, welche statistisch gesehen vorteilhafter sind, führen nicht automatisch zu genaueren Ergebnissen. Ein Beispiel hierfür ist das sogenannte Literary-Digest-Desaster aus dem Jahre 1936. Damals scheiterte das US-Magazin „Literary Digest“ trotz eines Stichprobenumfangs von 2,4 Millionen Personen bei der Prognose des Ergebnisses der Präsidentschaftswahlen, während George Gallup mit seinen 50.000 Interviewten richtig lag.
Doch damit nicht genug. In jüngster Zeit erfreuen sich Online-Befragungen immer größerer Beliebtheit. Bei denen sind noch weitere Verzerrungen möglich. Oft fehlen beispielsweise technische Vorkehrungen gegen Mehrfachabstimmungen. So beschwerte sich ein Leser des „Münchner Merkur“ beim Deutschen Presserat, weil die Zeitung es ihm ermöglicht hatte, bei einer Befragung 192 Mal hintereinander zu votieren.
Ein großes Problem bringt darüber hinaus die Selbstselektion der Probanden mit sich. Von Zufallsauswahl kann keine Rede mehr sein, wenn sich bestimmte Personen immer wieder freiwillig danach drängen, an Online-Umfragen teilzunehmen, um ihrer Meinung Gewicht zu verleihen, während andere – die vielleicht sogar die Mehrheit darstellen – kaum Lust oder Zeit für so etwas haben. Oder kein Internet.
Ein Ausweg aus dem Dilemma könnte die konsequente Quotenauswahl sein, bei der die Grundgesamtheit der Bevölkerung anhand sämtlicher relevanter demographischer Merkmale wie Alter, Geschlecht, Bildung, Beruf, Einkommen, Wohnort und so weiter auf akribische Weise im Kleinen nachgebildet wird. Das ist jedoch teuer und aufwendig – zudem können sich bei der Festlegung der Merkmale wieder neue Fehlermöglichkeiten auftun. Darüber hinaus besteht bei Umfragen in schriftlicher Form oder via Internet trotzdem noch das Problem der ungeklärten Identitäten: Wer garantiert, dass die antwortende Person tatsächlich diejenige ist, welche man aufgrund ihrer Zugehörigkeit zu einer bestimmten Kategorie der Bevölkerung ausgewählt hat?
Deshalb bleibt es dann eben zumeist bei der bisherigen Verfahrensweise: Wenn also beispielsweise von 1262 Befragten beim ZDF-Politbarometer 846 äußern, sich gegen Corona impfen lassen zu wollen, dann spricht hier nicht – wie behauptet – eine 67-Prozent-Mehrheit der Wahlberechtigten, sondern genau betrachtet nur eine zusammengewürfelte Minderheit von lediglich 0,00137 Prozent. Aus diesem Grunde fordert der ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute, die Medien sollten die Bezeichnung „repräsentativ“ entweder korrekt verwenden oder vermeiden.
Kommentare
sitra achra am 20.03.21, 11:46 Uhr
Das Titelfoto zeigt, dass die Gleichberechtigung der Frauen rasante Fortschritte gemacht hat. Männer sind von diesen Spitzenpositionen in den Callcentern ausgegrenzt!
Fred Volkov am 19.03.21, 15:43 Uhr
Die Funktion der sogenannten Meinungsforschungsinstitute kann ausführlich in folgendem Buch nachgelesen werden: "Die Schweigespirale", Elisabeth Noelle-Neumann;
Die Autorin kommt aus diesem Milieu und ist demzufolge kompetent.
Meine Ausgabe stammt aus dem Jahre 1980.
Bernd Wachter am 19.03.21, 13:51 Uhr
Sehr geehrter Herr Kaufmann,
Sie verwenden die Forderung des ADM, mit dem Begriff "repräsentativ" korrekt umzugehen, als Begründung der Richtigkeit ihrer Aussage, dass 1.262 Befragte die Zielgruppe der Wahlberechtigten nicht repräsentieren könne. Das ist aber falsch. Das Verhältnis der Stichprobengröße zur repräsentierten Gesamtheit spielt für Repräsentivität keine Rolle, sie ist lediglich für die statistische Sicherheit relevant (je größer, umso kleiner ist der sogenannte Zufallsfehler). Es ist statistisch kein Problem, die deutsche Bevölkerung mit 1.000 Fällen zu repräsentieren, WENN das Auswahlverfahren geeignet ist, eine repräsentative Stichprobe zu erlangen. Dafür gibt es - wie sie richtig darstellen - die Zufalls- und die Quotenauswahl, wobei es sich bei der Zufallsauswahl eben genau nicht um eine "zusammengewürfelte Minderheit" handelt. Die Phänomene einer unterschiedlich ausgeprägte Erreichbarkeit und Antwortbekanntheit sind bekannt und werden entsprechend berücksichtigt. Insofern sind die Ergebnisse etwa des ZDF-Politbarometer durchaus verlässlich und können als "repräsentativ" für die definierte Grundgesamtheit - hier: Wahlberechtigte - betrachtet werden.
Mit freundlichen Grüßen
Bernd Wachter
(Vorsitzender ADM)
Siegfried Hermann am 18.03.21, 23:31 Uhr
Was hier Herr Kaufmann alles an Fallstricken aufzählt, kann ich in jeder Hinsicht bestätigen, weil, meine Freundin weit über 10 Jahre in einer bekannten deutschen Agentur zuletzt als Gruppenleitung gearbeitet hat.
Aus der Praxis:
"Dürfen wir wieder anrufen" heißt:
gespeichert und bewertet bis in alle Ewigkeit.
Grundsätzlich wird immer nach Beruf, Einkommen, Kinder gefragt. Zur Eintütung in welche künftige Befragung gespeichert wird.
Die beliebten Sonntagsumfragen werden gespeichert, um bedarfsgerecht Mörkel wieder "zur beliebtesten Politikerin" zu erfragen. Sollten grüne Auftraggeber zahlen, sind Lehrer, Sozialpädagogen und esoterisch angehauchte Beamte die bevorzugten Angerufene.
Manchmal wurde selbst meine Freundin rot, wenn Umfragen zu Tampons, Viagra, oder divers-Spezialsex (gröll) nachgefragt wurde.
Leute, die nach dem 2. Interview erwischt werden, falsche Kontrollfragen anders zu beantworten, werden grundsätzlich aus der Datenbank gestrichen.
So kann man die genauso loswerden wie die immer wieder kehrenden Zeugen Jehowas. ;-)
Ob das jetzt für einen gewerblichen Auftraggeber Sinn macht, der ein neues Produkt auf dem Markt bringen will... keine Ahnung.
Was soll´s! Solange keine Steuergelder verbrannt werden würden, ok.
Kommentar hinzufügen
