Ungleichheit automatisieren": 3 Fallstudien zur richtigen KI-Implementierung

*Dies ist der nächste Artikel in unserer fortlaufenden Serie Eyes on Industrial AI, in der wir die facettenreiche Welt der industriellen künstlichen Intelligenz und Automatisierung erkunden. Wir wollen die innovativen Anwendungen dieser Spitzentechnologien aufdecken, insbesondere in Bezug auf die Fertigung und das Lieferkettenmanagement im Zeitalter von Industrie 4.0, einschließlich aller Herausforderungen, denen sie begegnen.

Wie oft haben Sie schon gehört: "Wir wüssten, was zu tun wäre, wenn wir nur einen größeren Datensatz hätten!" als Antwort auf ein anhaltendes Problem?

Sich auf die Datenerfassung zu verlassen, ist eine bewährte Praxis, aber manchmal kann die unsachgemäße Implementierung von automatisierten Datenerfassungssystemen mehr schaden als helfen. Sie sehen.

Daten sind nur so gut wie das Sieb, durch das sie gefiltert werden.

Unsachgemäße Datenerfassung und -analyse = Verschwendung.

Und Verschwendung kostet Zeit, Geld und Arbeit für Korrekturen und ist zudem ein Indikator für einen suboptimierten Hersteller.

Für jede Person, die davon überzeugt ist, dass Automatisierung die magische Antwort ist, um Rückstände und andere Probleme zu beheben, ohne dass eine systemische Reorganisation erforderlich ist, gibt es eine andere Person, die glaubt, dass diese starren Systeme die Probleme nur weiter in die Länge ziehen.

Der Mythos der neutralen Daten

Ok, Automatisierung ist also nicht perfekt, aber was ist mit aktiv schädlich?

Im Bestseller von Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor argumentiert sie genau so.

"Solange dieser unsichtbare Code im Hintergrund läuft, während wir neue automatisierte Entscheidungshilfen entwickeln", schreibt sie, "werden die daraus resultierenden Technologien die Armen profilieren, überwachen und bestrafen. Dies erfordert keine schlechten Absichten seitens der Designer, Datenwissenschaftler oder Programmadministratoren. Es erfordert lediglich ein 'neutrales' Design, das die völlig vorhersehbaren Folgen der Verschärfung bereits ungleicher und diskriminierender Systeme ignoriert" (Seite 223).

Sie trifft den Nagel auf den Kopf, indem sie feststellt, dass die Menschen davon ausgehen, dass Daten neutral sind, während die Neutralität in Wirklichkeit aus den richtigen Daten durch Analyse gewonnen werden muss.

Übrigens ist Eubanks nicht technikfeindlich; sie ist Professorin für Politikwissenschaft und Technikjournalistin und glaubt, dass die Gesellschaft vielleicht eines Tages Automatisierung und Datenwerkzeuge nutzen wird, um die Ressourcenverteilung zu korrigieren, anstatt den ungleichen Status quo aufrechtzuerhalten.

Aber halt! Geht es in Automating Inequality nicht darum, dass öffentliche Systeme wie Behörden und Sozialdienste nicht automatisiert werden sollten? Das hat nichts mit der privaten Fertigung mit automatisierten Prozessen zu tun.

Guter Punkt - es gibt ein paar Dinge zu beachten, wenn man diesen Unterschied anspricht:

1. Die Grenze zwischen öffentlich und privat ist nicht so klar, insbesondere bei privaten Auftragnehmern von Regierungsprojekten. Es kommt selten vor, dass ein Unternehmen zu 100 % für die Datenerhebung zuständig ist, da es möglicherweise andere Unternehmen beauftragt. In jedem Fall ist die Kluft zwischen dem, was man kontrollieren kann, und dem, was man bei der Datenerhebung nicht kontrollieren kann, der Kluft zwischen öffentlichen und privaten Unternehmen bemerkenswert ähnlich.
2. Was Eubanks' Buch so interessant macht, ist die Tatsache, dass die Verschwendung, die durch schlechte Datenautomatisierung verursacht wird, extravagant ist. Dies gilt insbesondere dann, wenn die automatisierten öffentlichen Dienste den Ärmsten helfen sollen. Das Versagen der Gesellschaft, technologische Systeme zu nutzen, hat eine große emotionale Wirkung. Die Empörung, die wir empfinden, wenn wir über solche groben Versäumnisse lesen, erinnert uns an unsere Menschlichkeit im Zuge des technologischen Fortschritts, der für einen gesunden Fortschritt, egal in welcher Branche, absolut notwendig ist.
3. Der beste Weg für die Hersteller, die Grenzen ihrer Datenmöglichkeiten zu erweitern, besteht darin, die Daten überall zu sehen, nicht nur in einer bestimmten Nischenindustrie. Es gibt jede Menge Parallelen, auch wenn Sie nichts mit der Wohlfahrtsbranche oder dem öffentlichen Dienst zu tun haben.

(Außerdem ist es eine wirklich tolle Lektüre.)

Nun gut - hören wir auf, die Technologie zu moralisieren und betrachten wir stattdessen die Fakten von 3 verschiedenen Fallstudien.

Aus jedem dieser Fälle - die in Eubanks' Buch ausführlicher behandelt werden - können wir wertvolle Erkenntnisse über die Einführung neuer KI-Technologien gewinnen.

Es bleibt zu hoffen, dass die Fehler anderer dazu beitragen können, die heutigen Innovatoren in der Fertigung über die potenziellen Schwierigkeiten zu informieren, die bei der Einführung neuer Informationssysteme auftreten können.

Fallstudie Nr. 1: Automatisiertes Berechtigungssystem für die Sozialhilfe in Indiana

Die Situation: In Indiana verwaltet die Family and Social Services Administration (FSSA) eine Reihe von Programmen wie Lebensmittelmarken und Sozialhilfe.

Im Jahr 2006 beschloss Indiana, die FSSA umzugestalten, um die Dienstleistungen zu rationalisieren und Sozialhilfebetrug besser zu verhindern. Sie vergaben einen Auftrag, der die Einführung eines automatisierten Berechtigungssystems vorsah, an die Unternehmen IBM und ACS.

Der Gedanke war, dass durch die Abschaffung der Sachbearbeiter und den Einsatz einer automatisierten Datenbank weniger Möglichkeiten für die Antragsteller bestehen würden, den bürokratischen Aufwand auf der Grundlage persönlicher Beziehungen zu umgehen, und dass das System schneller und effizienter arbeiten würde.

Das Problem: Fast sofort war das Projekt ein Desaster.

Die wenigen menschlichen Telefonisten waren für die Sozialarbeit nicht richtig ausgebildet. Außerdem war das System bei den Kategorien zu unflexibel. Im vorherigen System konnten die Antragsteller bei Problemen im Verfahren den ihnen zugewiesenen Sachbearbeiter anrufen, der ihnen half, die Probleme zu lösen.

Danach konnten sich die Bewerber nirgendwo mehr hinwenden und landeten in Sackgassen wie Ablehnungen oder Telefonleitungen, die unbeantwortet blieben.

Erkenntnis Nr. 1: Schätzen Sie Ihr Team und wissen Sie, wann Sie in eine menschliche Note investieren müssen.

Es mag nicht die schlechteste Idee gewesen sein, eine automatisierte Datenbank einzuführen, aber Indiana hat das Ziel verfehlt, wenn es um menschliche Interaktion ging. Besonders bei der Art von Dienstleistungen, die die FSSA anbot, fühlte sich die Teilnahme am Förderverfahren kalt und roboterhaft an, und viele brachen den Prozess aufgrund des Stresses bei der Koordinierung ihrer Fälle ab.

Es gibt heute viele Möglichkeiten, kundenbetreuungsähnliche Aufgaben für Unternehmen zu automatisieren, und viele von ihnen sparen dadurch Geld und Ausbildungszeit.

Aber nur weil man bestimmte Abstriche machen kann, heißt das nicht, dass man sie auch machen sollte. Eine zusätzliche, persönliche menschliche Interaktion kann über den Erfolg oder Misserfolg Ihrer Kundenbeziehungen und der Beziehungen innerhalb Ihres Teams entscheiden.

Das Gesundheitsrestaurant freshii hat diese Lektion geschultert: Es wurde berichtet, dass die Filialen der Kette in Ontario Kassiererjobs nach Nicaragua auslagern, wo der Mindestlohn bei lächerlichen 3,25 Dollar liegt.

Natürlich stoßen die Kunden auf praktische Probleme mit einer virtuellen Kassiererin, und die Öffentlichkeit ist verärgert über die niedrige Bezahlung und den Einsatz ausländischer Arbeitnehmer.

Fallstudie #2: Koordiniertes Zugangssystem für die Obdachlosen in LA

Die Situation: In Los Angeles (und insbesondere in der Skid Row) herrscht die wahrscheinlich schlimmste Wohnungskrise in den Vereinigten Staaten, denn es gibt nur wenige Wohnungen und die Zahl der Obdachlosen steigt.

Das System der koordinierten Aufnahme, das sich auf ein unzusammenhängendes Netz sozialer Organisationen stützt, verwendet einen Algorithmus, um den Grad der "Bedürftigkeit" jeder obdachlosen Person auf der Grundlage einer Zahl zwischen 1 und 17 zu bewerten. Mit Hilfe eines Wohnungskoordinators durchläuft die Person dann weitere bürokratische Hürden, um (hoffentlich, ohne Garantie) eine kleine Wohnung zu bekommen.

Das Problem: Die Regeln der koordinierten Einreise passen einfach nicht zusammen.

Abgesehen davon, dass es sich um unvollständige, abgeschottete Datensätze handelt, wird die Datenbank nicht einmal überwacht. Die Polizei hat ungehinderten Zugang zu ihr, was oft dazu führt, dass sie nach persönlichen Informationen fischt, um Beweise zu erlangen.

Niemand weiß, wie lange bestimmte Datenpunkte aufbewahrt werden, und niemand kennt die vollständige Liste der Behördenvertreter, die Zugang haben. Menschen fallen durch die Maschen oder werden aus gesundheitlichen Gründen übergangen.

Einige Teile sind gefährlich unlogisch, wie z. B. die Tatsache, dass ein Gefängnisaufenthalt als "Unterbringung" zählt und die Geschichte der "Bedürftigkeit" einer Person unterbricht. Ein weiteres Beispiel ist die Tatsache, dass eine Person ohne Wohnung 3 bis 5 Jahre Mietzeit nachweisen muss, was in Anbetracht der Umstände natürlich eine hohe Anforderung darstellt, die es zu erfüllen gilt.

Erkenntnis Nr. 2: Die Datenarchitektur braucht ein starkes Fundament

Los Angeles nahm die Datenerfassung ernst. Leider gerieten die Methoden zur Speicherung und Pflege dieser Datenbank außer Kontrolle.

Einige Menschen bewegen sich immer noch durch das System, aber es gibt so viele mehr, die sich mehrmals beworben haben und nie über den ersten Schritt hinausgekommen sind, weil die Datenbank die Informationen nicht genau nachverfolgt und die Menschen, die umherziehen, im System verloren gehen.

Vergewissern Sie sich, dass Sie nicht vor lauter Begeisterung über die große Menge an Daten, mit denen Sie arbeiten können, überall herumschwirren. Kürzlich hatte Facebook/Meta ein Problem mit der Verfolgung der eigenen Daten, und ein internes Dokument wurde veröffentlicht, in dem zugegeben wird, dass sie nicht genau wissen, wo ihre Daten hingehen.

Wie kann man sicher sein, dass nicht doch einige Daten weitergegeben werden?

Gibt es selbstreferentielle Regeln, die keinen Sinn ergeben oder in Sackgassen führen?

Bauen Sie eine solide Datenarchitektur auf, auf die Sie sich verlassen können, egal ob Sie 10 Datensätze oder 10 Millionen Datensätze haben.

Fallstudie #3: Prädiktives Risikomodell für Kindesmissbrauch in Allegheny County

Die Situation: In Pennsylvania schrieb das Allegheny County Office of Children, Youth, and Families (CYF) im Jahr 2012 einen Auftrag für ein automatisiertes Datentriage-System aus. Den Zuschlag erhielt ein Team, das von einem neuseeländischen Wirtschaftswissenschaftler geleitet wurde.

Das Team erstellte ein Vorhersagemodell, das die CYF-Datenhistorie nutzte, um die Wahrscheinlichkeit der Misshandlung eines Kindes zu ermitteln. Zu den Variablen gehörten die Dauer des Bezugs öffentlicher Leistungen, die Vorgeschichte mit dem Jugendamt, das Alter und der Beziehungsstatus der Mutter, die psychische Gesundheit und die Vorgeschichte im Gefängnis.

Das Problem: Das Vorhersagemodell war nicht gut genug und enthielt auch wiederholt rassistische Verzerrungen aufgrund der Gebiete, in denen die Daten ausgewertet wurden. Es hatte nur eine "mittlere bis gute Genauigkeit" - mit anderen Worten, es ordnete lediglich eine angemessene Wahrscheinlichkeit, die bereits in den Daten enthalten war, neu an und spuckte sie aus.

Da das Vorhersagemodell in den meisten Fällen richtig lag, verließen sich die Menschen in komplizierten Situationen oft zu sehr auf seine Antwort.

Dies führte im Wesentlichen dazu, dass bestimmte unterprivilegierte Bevölkerungsgruppen mit Hilfe von Data Mining ausgewertet wurden und die Daten dann wiederverwendet wurden, um ihre eigene Notwendigkeit zu schaffen.

Erkenntnis Nr. 3: Treffen Sie keine Annahmen ohne Untersuchung und standardisierte Tests

In letzter Zeit gab es mehrere Fälle, in denen moderne KI-Programme rassistische oder sexistische Vorurteile aufrechterhalten. Es ist üblich, die Voreingenommenheit von KI als natürliche Vorhersage zu betrachten, aber denken Sie daran, mit welchen Mitteln die Daten gesammelt wurden.

Das KI-Modell wird mit bestimmten Informationen gefüttert und spuckt sie in neuer Form wieder aus. Natürlich werden sich unangenehme Verzerrungen wiederholen, wenn der erste Datensatz dieselben Verzerrungen enthält.

Stellen Sie sicher, dass alle Vorhersagemodelle, die in Automatisierungsprozessen verwendet werden, logisch fundiert und gut durchdacht sind und nicht ihre eigenen Analysen als konstante Variablen verwenden.