''Automatiser les inégalités'' : 3 études de cas pour une mise en œuvre correcte de l'IA

Voici le prochain article de notre série en cours, Eyes on Industrial AI, dans laquelle nous explorons le monde multiforme de l'intelligence artificielle industrielle et de l'automatisation. Découvrons les applications innovantes de ces technologies de pointe spécifiquement liées à la fabrication et à la gestion de la chaîne d'approvisionnement à l'ère de l'industrie 4.0, y compris les défis qu'elles rencontrent.

Combien de fois avez-vous entendu, " Nous saurions quoi faire si seulement nous avions un ensemble de données plus important ! " en réponse à un problème persistant ?

S'appuyer sur la collecte de données est une bonne pratique, mais parfois, la mauvaise mise en œuvre des systèmes de collecte automatisée de données peut nuire plus qu'aider. Vous voyez -

Les données ne valent que ce que vaut le tamis à travers lequel elles sont filtrées.

Une collecte et une analyse incorrectes des données = gaspillage.

Et le gaspillage coûte du temps, de l'argent et de la main-d'œuvre pour les corrections, tout en étant un indicateur d'un fabricant sous-optimisé.

Pour chaque personne convaincue que l'automatisation est la solution magique pour résoudre les retards et autres problèmes sans devoir procéder à une réorganisation systémique, il y en a une autre qui pense que ces systèmes rigides ne font qu'aggraver les problèmes.

Le mythe des données neutres

D'accord, l'automatisation n'est pas parfaite, mais qu'en est-il des données "activement nuisibles" ?

Dans le livre à succès de Virginia Eubanks, Automating Inequality : How High-Tech Tools Profile, Police, and Punish the Poor, c'est justement ce qu'elle affirme.

"Tant que ce code invisible fonctionnera en arrière-plan pendant que nous construisons de nouveaux outils automatisés de prise de décision, écrit-elle, les technologies qui en résulteront profileront, surveilleront et puniront les pauvres. Cela ne nécessite pas de mauvaises intentions de la part des concepteurs, des scientifiques des données ou des administrateurs de programmes. Il suffit de concevoir "en toute neutralité", en ignorant les conséquences tout à fait prévisibles de la suralimentation de systèmes déjà inégaux et discriminatoires" (page 223).

Elle met le doigt sur le fait que les gens supposent que les données sont neutres alors qu'en réalité, la neutralité doit être extraite de données appropriées, par le biais de l'analyse.

D'ailleurs, Eubanks n'est pas réfractaire à la technologie ; elle est professeur de sciences politiques et journaliste spécialisée dans la technologie. Elle pense qu'un jour, la société utilisera l'automatisation et les outils de données pour corriger la distribution des ressources au lieu de perpétuer le statu quo inégalitaire.

*Mais attendez ! Automating Inequality ne traite-t-il pas de la manière dont les systèmes publics tels que le gouvernement et les services sociaux ne devraient pas être automatisés ? Cela n'a rien à voir avec *la fabrication privée utilisant des processus automatisés*.

C'est un bon point - il faut garder à l'esprit deux choses en abordant cette différence :

1. La frontière entre le public et le privé n'est pas si claire, en particulier pour les sous-traitants privés des projets gouvernementaux. Il est rare qu'une entreprise soit responsable à 100 % de la collecte de données, puisqu'elle peut sous-traiter à d'autres entreprises. Quoi qu'il en soit, la frontière entre ce que l'on peut contrôler et ce que l'on ne peut pas contrôler en matière de collecte de données est remarquablement similaire à celle qui sépare les entreprises publiques des entreprises privées.
2. L'intérêt du livre d'Eubanks réside en partie dans le fait que le gaspillage causé par une mauvaise automatisation des données est extravagant. C'est d'autant plus vrai lorsque les services publics automatisés sont censés aider les personnes les plus pauvres. L'incapacité de la société à fournir des systèmes technologiques a un impact émotionnel important. L'indignation que nous ressentons à la lecture de ces manquements flagrants nous rappelle notre humanité à mesure que nous progressons technologiquement, ce qui est absolument nécessaire pour un progrès sain, quel que soit le type d'industrie.
3. La meilleure façon pour les fabricants de repousser les limites des possibilités offertes par les données est de voir les données partout, et pas seulement dans un créneau particulier de l'industrie. Les parallèles sont nombreux, même si vous n'avez rien à voir avec les secteurs de la charité ou des services publics.

(De plus, il s'agit d'une lecture très intéressante).

D'accord, arrêtons de faire la morale à la technologie et examinons plutôt les faits de trois études de cas différentes.

Chacune d'entre elles - traitée plus en profondeur dans le livre d'Eubanks - nous permet de tirer des enseignements précieux sur la mise en œuvre des nouvelles technologies de l'IA.

Nous espérons que les erreurs des autres pourront aider à informer les innovateurs actuels du secteur manufacturier des difficultés potentielles qui les attendent lorsqu'ils envisagent d'utiliser de nouveaux systèmes d'information.

Étude de cas n° 1 : Système automatisé d'éligibilité à l'aide sociale dans l'Indiana

La situation: Dans l'Indiana, l'administration des services sociaux et familiaux (FSSA) gère divers programmes tels que les bons d'alimentation et l'aide sociale.

En 2006, l'Indiana a décidé de réorganiser la FSSA afin de rationaliser les services et de mieux prévenir les fraudes à l'aide sociale. Il a attribué un contrat, qui comprenait la mise en place d'un système d'éligibilité automatisé, aux sociétés IBM et ACS.

L'idée était qu'en éliminant les travailleurs sociaux et en s'appuyant sur une base de données automatisée, il y aurait moins de possibilités pour les demandeurs de contourner les formalités administratives sur la base de relations personnelles, ainsi qu'un système de prestation plus rapide et plus efficace.

Le problème: Presque immédiatement, le projet a été un désastre.

Les quelques opérateurs téléphoniques humains n'étaient pas formés correctement au travail social. De plus, le système était trop rigide en ce qui concerne les catégories. Dans le système précédent, lorsque les demandeurs rencontraient des problèmes au cours de la procédure, ils pouvaient appeler l'assistant social qui leur avait été attribué, qui les aidait à démêler les problèmes.

Par la suite, les candidats n'avaient nulle part où se tourner et se retrouvaient dans des impasses telles que des licenciements ou des lignes téléphoniques qui restaient sans réponse.

Enseignement n° 1 : valorisez votre équipe et sachez quand investir dans un contact humain

L'introduction d'une base de données automatisée n'était peut-être pas la pire des idées, mais Indiana a raté le coche en ce qui concerne l'interaction humaine. Compte tenu du type de services fournis par la FSSA, la participation au processus d'éligibilité a semblé froide et robotisée, et de nombreuses personnes ont abandonné en raison du stress lié à la coordination de leur dossier.

Il existe aujourd'hui de nombreuses possibilités d'automatiser les tâches de type service à la clientèle pour les entreprises, et beaucoup d'entre elles économisent de l'argent et du temps de formation en procédant ainsi.

Cependant, ce n'est pas parce qu'on peut faire des économies que l'on doit le faire. L'ajout d'une interaction humaine personnalisée supplémentaire peut faire ou défaire vos relations avec vos clients ainsi que les liens que vous avez au sein de votre équipe.

Le restaurant diététique freshii est chargé de cette leçon : il a été rapporté que les établissements de la chaîne situés en Ontario externalisent les emplois de caissiers au Nicaragua, où le salaire minimum est d'à peine 3,25 dollars.

Naturellement, les clients rencontrent des problèmes pratiques avec une caissière virtuelle, et le grand public s'indigne de la faible rémunération et de l'implication de travailleurs non locaux.

Etude de cas n°2 : Système d'entrée coordonné pour les sans-abri à Los Angeles

The Situation: Los Angeles (et en particulier Skid Row) connaît peut-être la pire crise du logement aux États-Unis, avec une pénurie de logements disponibles et une augmentation de la population des sans-abri.

Le système d'entrée coordonnée, qui repose sur un réseau déconnecté d'organisations sociales, utilise un algorithme pour évaluer le niveau de "besoin" de chaque personne non logée sur la base d'un chiffre compris entre 1 et 17. Ensuite, avec l'aide d'un coordinateur de logement, la personne franchit d'autres obstacles bureaucratiques afin d'obtenir (avec un peu de chance, mais sans garantie) un petit appartement.

**Le problème Les règles de l'entrée coordonnée ne s'appliquent pas.

Outre le fait qu'il s'agit d'ensembles de données incomplets et cloisonnés, la base de données n'est même pas contrôlée. La police peut y accéder librement, ce qui l'amène souvent à rechercher des informations personnelles pour obtenir des preuves préventives.

Personne ne sait combien de temps certaines données sont conservées, ni même la liste complète des autorités qui y ont accès. Des personnes passent entre les mailles du filet ou sont écartées pour des raisons de santé.

Certaines parties sont dangereusement illogiques, comme le fait que le temps passé en prison compte comme un "logement" et interrompt l'histoire de "l'indigence" d'une personne. Un autre exemple est qu'une personne non logée a besoin de 3 à 5 ans d'historique de location, ce qui est évidemment une exigence élevée compte tenu des circonstances.

Deuxième enseignement : l'architecture des données doit reposer sur des bases solides

Los Angeles a pris la collecte de données au sérieux. Malheureusement, les méthodes de conservation et de mise à jour de cette base de données ont échappé à tout contrôle.

Certaines personnes naviguent encore dans le système, mais il y en a beaucoup d'autres qui ont fait plusieurs demandes et qui n'ont jamais dépassé la première étape parce que la base de données ne suit pas les informations avec précision et qu'au fur et à mesure que les personnes se déplacent, elles sont perdues dans le système.

Assurez-vous que vous ne répandez pas des données partout parce que vous êtes excité à l'idée d'avoir beaucoup de choses à travailler. Récemment, Facebook/Meta a connu des problèmes de suivi de ses propres données, et un document interne a fait l'objet d'une fuite qui admet que l'entreprise ne sait pas exactement où vont ses données

Comment savez-vous que certaines données ne sont pas divulguées ?

Existe-t-il des règles autoréférentielles qui n'ont pas de sens ou qui aboutissent à des impasses ?

Construisez une architecture de données solide sur laquelle vous pourrez vous appuyer, que vous ayez 10 ensembles de données ou 10 millions d'ensembles de données.

Étude de cas #3 : Modèle prédictif de risque de maltraitance des enfants dans le comté d'Allegheny

The Situation: En Pennsylvanie, en 2012, le bureau des enfants, des jeunes et des familles du comté d'Allegheny (CYF) a proposé un contrat pour un système de triage automatisé des données. L'offre gagnante a été celle d'une équipe dirigée par un économiste néo-zélandais.

L'équipe a construit un modèle prédictif utilisant l'historique des données du CYF pour évaluer la probabilité qu'un enfant soit victime de maltraitance. Les variables comprenaient le temps passé sur les prestations publiques, les antécédents avec les services de protection de l'enfance, l'âge de la mère et son statut relationnel, sa santé mentale et ses antécédents correctionnels.

Le problème: Le modèle prédictif n'était pas assez bon, et a également répété des biais raciaux en raison des zones exploitées pour les données. Il n'avait qu'une "précision moyenne à bonne" - en d'autres termes, il se contentait de réarranger et de recracher une probabilité raisonnable qui se trouvait déjà dans les données.

Comme le modèle prédictif était juste la plupart du temps, les gens avaient tendance à se fier excessivement à sa réponse lorsqu'ils étaient confrontés à une situation compliquée.

Cela a essentiellement conduit à l'exploitation des données de certaines communautés défavorisées, puis au recyclage des données, créant ainsi sa propre nécessité.

Enseignement #3 : Ne pas faire de suppositions sans enquête et sans tests standardisés

Il y a eu récemment de nombreux cas où des programmes d'IA de pointe ont perpétué des préjugés racistes ou sexistes. Il est courant de prendre les préjugés de l'IA pour des prédictions naturelles, mais il ne faut pas oublier les moyens par lesquels les données ont été collectées.

Le modèle d'IA reçoit certaines informations et les régurgite sous une nouvelle forme. Il va de soi que les biais gênants se répètent lorsque le premier ensemble de données contient les mêmes biais.

Assurez-vous que les modèles prédictifs utilisés dans les processus d'automatisation sont logiquement solides et bien conçus, et qu'ils ne reviennent pas en arrière et n'utilisent pas leurs propres analyses comme variables constantes.