Dies ist der zweite von 3 Artikeln, die sich alle der Frage widmen, wie unser Vorhersagemodell bei der Kommunalwahlen 2020 in Bayern abgeschnitten hat. Der erste Teil bildet die intuitive Meinung unserer Autoren ab. Hier möchten wir in aller Kürze auf verschiedene Ebenen der Auswertung eingehen, sowie ein paar Zahlen zur Bewertung anbieten.
Reflektieren ist elementare Bestandteil von engagiertem Arbeiten, außerhalb von Vorhersagen aber insbesondere bei Vorhersagen. Um zu reflektieren müssen wir allerdings erst die Kriterien definieren, nach denen wir beurteilen können. Das ist durchaus keine einfache Aufgabe, denn es gibt verschiedene Ebenen, die uns interessieren.
1. Das Narrativ. Wie bereits im vorherigen Artikel beschrieben, haben wir das Gesamtbild, unserer Meinung nach, treffend vorhersagen können. Zahlreiche Medien, beispielsweise die Süddeutsche Zeitung oder der Münchner Merkur, haben unsere grobe Tendenz bestätigt. Verluste für CSU und SPD, ein starkes Wahlergebnis der Grünen, wenn auch nicht so stark wie manche erhofft hatten, eine weniger starke AfD als viele erwartet haben und Gewinne für viele kleinere Listen sowie die Freien Wähler. Dass die SPD in den Medien schlechter abschneidet als bei uns, liegt an unserem Fokus auf Städte und größeren Gemeinden. Aus dem gleichen Grund steht die CSU in den Analysen großer Medien relativ zu uns besser da.
2. Die Trends in den einzelnen Städten. Ein erster, genauerer Blick erlaubt es uns, unsere Vorhersagen mit dem Ergebnis der Parteien in jeder einzelnen Stadt zu vergleichen. Die folgende Grafik zeigt für jede Stadt den Trend und unseren erwarteten Trend an. Parteien, die oben rechts platziert sind, haben gewonnen – so wie von unserem Modell erwartet.
Unten links sind Parteien, bei denen unsere erwarteten Verlusten auch eingetreten sind. Unten rechts hingegen, sind Parteien, die wir überschätzt haben, also unsere Vorhersage großzügiger war als die Wählenden.
Oben links sind von uns unterschätzte Parteien, hier hat der Wahlabend ein freundlicheres Ergebnis bereitgestellt, als wir vermutet haben.
Am besten, ihr klickt einfach mal rein und macht euch selbst ein Bild. (Wenn der Name einer Partei unvollständig sein sollte, einfach kurz rauszoomen.)
3. „…und ob wir wirklich richtig steh’n, seh’n wir wenn das Licht angeht“ Wir konnten etwa 75% aller Sitze der richtigen Partei direkt zuordnen. Wenn man unser Unsicherheits-korrigierte Schätzung nimmt haben eine direkte Erfolgsquote von 86%. Konkret bedeutet der Unterschied zwischen beiden Zahlen, dass ca. 40% unserer Fehler von knappen Abweichungen herrühren, sprich wir beispielsweise 5 Sitze vorhergesagt haben, jedoch 6 das Ergebnis war. Bei 14% lagen wir dagegen deutlicher daneben.
4. Evaluierung nach statistischen Maßen. Der Unterschied zum vorherigen Feedback liegt darin, dass große Abweichungen stärker ins Gewicht fallen als kleine. Es wird nach Distanz zum wahren Ergebnis gewichtet. Der Fachbegriff lautet R^2 und ist formal definiert, als der Anteil der erklärten Varianz an der insgesamt vorhandenen Varianz. Wir erwarten ein Ergebnis besser als 75%, wenn wir bei einigen Schätzungen nur leicht daneben lagen, ein schlechteres, wenn wir bei einigen weit daneben lagen. Unser prozentualer Wert beträgt 82%, womit unsere Tendenz des vorherigen Abschnitts bestätigt wurde – ein großer Anteil unserer Fehler sind, in unseren Augen, minimale, verzeihliche Abweichungen.
Unser Ziel ist es für die nächsten Kommunalwahlen in NRW im September 2020, unser Modell weiter zu präzisieren und die Fehlerquote von 11-14% weiter zu senken. Wir werden daher neue Ansätze testen, die unser Ergebnis (hoffentlich) noch weiter verbessern können.
