Zum Inhalt springen

Neun Chancen, neun Risiken algorithmischer Entscheidungsfindung

Konrad Lischka
Konrad Lischka
3 minuten gelesen
Neun Chancen, neun Risiken algorithmischer Entscheidungsfindung

Bis zu 70 Prozent der Stellenbewerber in Großbritannien und den Vereinigten Staaten werden zuerst von automatisierten algorithmischen Verfahren bewertet, bevor ein Mensch ihre Unterlagen sieht. Gerichte in neun US-Bundesstaaten nutzen in Strafverfahren Software, die Risikoprognosen für die Angeklagten berechnet. Automatisierte Prognosen zur Kreditwürdigkeit werden in den Vereinigten Staaten auch genutzt, um die Höhe von Versicherungspolicen zu bestimmen. Das FBI gleicht Bildmaterial von Straftätern automatisiert mit 411 Millionen Bildern aus Führerschein-, Pass- und Visadaten ab, um mögliche Verdächtige zu identifizieren.

Diese vier Beispiele zeigen: Menschen werden heute in vielen Lebensbereichen von Prozessen algorithmischer Entscheidungsfindung bewertet, sogenanntem „algorithmic decision making“ (ADM). Solche ADM-Prozesse sind seit Jahren im Einsatz und kategorisieren Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren. Neun solcher Beispiele habe ich mit Anita Klingel in dem Arbeitspapier “Wenn Maschinen Menschen bewerten” (kostenloser Download, veröffentlicht unter  CC BY-SA 3.0 DE) analysiert.

Hier als kleiner, gekürzter Überblick aus dem Fazit Chancen und Risiken von ADM-Prozessen in neun Wirkungsdimensionen:

1. Normative Setzungen

Chance: Bei der Gestaltung eines ADM-Prozesses müssen normative Entscheidungen (z. B. über Fairness-Kriterien) vor dem Einsatz fallen. Das bietet die Möglichkeit, früh und grundlegend ethische Fragen öffentlich zu diskutieren und Entscheidungen zu dokumentieren.

Risiko: ADM-Prozesse können normative Entscheidungen im Design verstecken. Wenn erst nach Abschluss der Gestaltung Raum für Diskurs ist, werden Setzungen leichter als gegeben akzeptiert.

[hr /]

2. Datenbasis

Chance: Software kann eine deutlich größere Datenbasis analysieren als Menschen und so Muster erkennen, die einige Fragen schneller, präziser oder günstiger lösen können.

Risiko: Die Datenbasis eines ADM-Prozessen kann Verzerrungen enthalten, die durch das Verfahren scheinbar objektiviert werden. Wenn die Kausalitäten hinter Korrelationen nicht überprüft werden, ist die Gefahr nicht beabsichtigter, aber billigend in Kauf genommener systematischer Diskriminierung groß.

[hr /]

3. Konsistenz der Anwendung

Chance: Algorithmenbasierte Prognosen arbeiten zuverlässig die vorgegebene Entscheidungslogik in jedem Einzelfall ab. Im Gegensatz zu menschlichen Entscheidern ist Software nicht tagesformabhängig und wendet nicht willkürlich in Einzelfällen neue, unter Umständen ungeeignete Kriterien an.

Risiko: Bei ungewöhnlichen Fällen fehlt oft die Flexibilität, relevantes Unerwartetes auszuwerten und entsprechend zu reagieren. Auch Fehler in den Trainingsdaten oder der Entscheidungslogik wendet ein ADM-System auf jedem Einzelfall zuverlässig an.

[hr /]

4. Skalierbarkeit

Chance: Der Anwendungsbereich eingesetzter Software ist potenziell um ein Vielfaches größer als der Einflussbereich eines menschlichen Entscheiders, weil die Entscheidungslogik eines Systems sehr günstig auf nahezu unbegrenzt viele Fälle anwendbar ist.

Risiko: Die leichte Skalierbarkeit von ADM-Prozessen kann dazu führen, dass die Vielfalt der eingesetzten und einsetzbaren ADM-Prozesse sinkt und dass viel häufiger und bei weit mehr Anlässen maschinell bewertet wird, als dies möglicherweise gesellschaftlich gewünscht ist.

[hr /]

5. Überprüfbarkeit

Chance: Datenbasierte und digitale Systeme können so gestaltet werden, dass Erklärbarkeit, Nachvollziehbarkeit, unabhängige Überprüfbarkeit und die Möglichkeiten zur forensischen Datenanalyse gegeben sind.

Risiko: Die Begründung von Entscheidungen sowie eine unabhängige Evaluation sind in vielen Fällen qua Design und Betreibermodellen nur eingeschränkt institutionalisiert, möglich oder verständlich.

[hr /]

6. Anpassungsfähigkeit

Chance: ADM-Prozesse können neuen Umständen angepasst werden – entweder durch neue Trainingsdaten oder durch selbstlernend angelegte Systeme.

Risiko: Die Symmetrie der Anpassungsfähigkeit in alle Richtungen ist abhängig von der Gestaltung des Prozesses. Auch einseitige Anpassung ist möglich.

[hr /]

7. Effizienz

Chance: Die maschinelle Auswertung großer Datenmengen ist in der Regel günstiger als die Auswertung vergleichbarer Datenmengen durch menschliche Analysten.

Risiko: Effizienzgewinne durch ADM-Prozesse können verdecken, dass die absolut zur Verfügung stehenden Mittel insgesamt zu gering oder inadäquat sind.

[hr /]

8. Personalisierung

Chance: ADM-Prozesse können den Zugang zu personalisierten Angeboten und Dienstleistungen demokratisieren, die aufgrund der Kosten bislang wenigen vorbehalten waren. Zum Beispiel: Für die Recherchebreite und -tiefe einer Suchmaschinenanfrage waren vor dem Web mehrere wissenschaftliche Assistenten und Bibliothekare nötig.

Risiko: Wo ADM-Prozesse das Massengeschäft dominieren, kommen nur wenige Privilegierte in den Genuss, von Menschen bewertet zu werden – was zum Beispiel bei der Bewerbervorauswahl oder Kreditvergabe in ungewöhnlichen Konstellationen Vorteile haben kann.

[hr /]

9. Menschliche Wahrnehmung maschineller Entscheidungen

Chance: ADM-Prozesse können konsistent zu statistischen Vorhersagen kommen. In bestimmten Fällen sind diese zuverlässiger als menschliche Experten – hier kann Software als Ergänzung mehr Zeit fürs Wesentliche schaffen.

Risiko: Menschen können softwarebasierte Prognosen als verlässlicher, objektiver und aussagekräftiger als andere Informationen empfinden. Das kann dazu führen, dass Menschen die Empfehlungen und Prognosen der Software im Einzelfall nicht hinterfragen oder davon nur weiter in die vorgeschlagene Richtung abweichen.

[hr /]

 Veröffentlicht unter  CC BY-SA 3.0 DE (Namensnennung – Weitergabe unter gleichen Bedingungen). Gekürzter Auszug aus: “Wenn Maschinen Menschen bewerten” 1. Auflage 2017 , 50 Seiten (PDF), DOI 10.11586/2017025

Blog

Konrad Lischka

Projektmanagement, Kommunikations- und Politikberatung für gemeinnützige Organisationen und öffentliche Verwaltung. Privat: Bloggen über Software und Gesellschaft. Studien, Vorträge + Ehrenamt.
Immer gut: Newsletter abonnieren


auch interessant

Bahnstreik und Bahntarif - gut zu wissen

Was mich nervt: Aktuelle Happen in der Berichterstattung, ohne Einordnung und Hintergrund - zum Beispiel beim Bahnstreik. Viel Aufregung, viele Zitate, aber wenig Rahmen, um das einzuordnen. Ich hätte gerne in jedem Beitrag zum Thema einen Werkzeugkasten, um das gerade Aktuelle einordnen zu können. Bei der Tarifauseinandersetzung zum Beispiel: Wie

Bahnstreik und Bahntarif - gut zu wissen

Das Dilemma beim bezahlbaren Wohnraum: 2,5 Mrd. Subventionen für Neubau, 20 Mrd. für hohe Mieten

Ein paar Zahlen zum Wohnungsmarkt in Deutschland: * In Deutschland fehlen derzeit 910.000 Sozialwohnungen (Wohnungsmarkt-Studie vom Pestel-Institut S. 29) * In Deutschland lag die Quote von Baugenehmigungen für Wohngebäude Anfang 2023 bei rund 70 % der Genehmigungen in 2015 (Eurostat via FT) * Für 2024 rechnet der Zentralverband des Deutschen Baugewerbes ZDB mit

Das Dilemma beim bezahlbaren Wohnraum: 2,5 Mrd. Subventionen für Neubau, 20 Mrd. für hohe Mieten

Fun Facts (1)

Produktivität = BIP / Stunden Lohnarbeit Deutschland, Frankreich und die USA liegen bei der Arbeitsproduktivität gleichauf. 55 Euro Bruttoinlandsprodukt werden mit jeder Stunde Lohnarbeit erwirtschaftet. Die Zahlen sind vergleichbar (inflations- und kaufkraftbereinigt), Basis stammt von OECD, Berechnung von Thomas Piketty (Daten) Geheimwaffe Gurkenwasser In Bayern kommt Recycling-Gurkenwasserim Winterdienst auf die Straßen. Der

Fun Facts (1)