Les ratés de l'IA : racisme, misogynie et fascisme.

Artificial Intelligence
December 16, 2019 - 8 min read

Theobald Le louarn

Founder @Cobbaï
L'intelligence artificielle c'est un peu comme votre enfant. Vous avez sûrement une idée précise de comment vous l’avez conçu. Vous l’éduquez et lui apprenez à faire plein de choses. Vous êtes si fiers quand il voit une vache et qu’il dit “meuh-meuh” ou quand il déchiffre son prénom. Par contre, certains comportements vous dépassent. Par exemple, vous ne comprenez pas quand soudainement il se roule par terre au supermarché ou encore pourquoi il met sa main dans le feu alors qu’on lui a dit que ça faisait mal. 

Figurez-vous que pour la majorité des initiés, l’IA est une boîte noire mystérieuse dont les rouages restent impénétrables. Alors quand l’IA part en sucette, ça pose quelques soucis ! 

Nous vous proposons ici un petit florilège des plus beau ratés de l'IA.

Soyez indulgents, rappelez vous que tout comme votre enfant, elle apprend et fait des erreurs !


Papa, pourquoi le monsieur il ressemble à un Gorille ?

On commence fort avec une IA raciste. 

En effet, Google, a eu quelques soucis en 2015 avec ses algos d’intelligence artificielle. A l’époque, Google Photos proposait une catégorisation intelligente des photos (voir ci-dessous). Le service analysait votre bibliothèque de photos pour détecter des motifs spécifiques (ex: animaux, selfies, évènement, voitures...).

Tout allait bien jusqu’au jour où une personne de couleur de peau noire s’est retrouvée dans la catégorie “gorille”. Cette affaire a vite enflammé le web et a entraîné le branle-bas de combat chez les développeurs du géant américain. Tout est rentré dans l’ordre une fois que les réseaux de neurones ont été ré-entraînés.
 
IA raciste

Fort heureusement, l’analyse d’image a fait énormément de progrès ces dernières années et les algorithmes de machine learning et de deep learning permettent d’arriver à des résultats incroyables (détection de texte, de défauts, décryptage, deepfake...).


Maman, pourquoi tu n’as pas eu ton job chez Amazon ?

L’intelligence artificielle et le machine learning ont des problèmes de biais. Plus précisément, ils ont tendance à amplifier les biais des données d'entrée. L’exemple parfait, c’est Amazon qui l'a rencontré lors de son dernier projet RH.

Amazon avait de grandes ambitions pour accélérer son processus de recrutement : utiliser l’IA pour être capable de sortir les 5 meilleurs CVs d’une pile de 100 candidatures ! Le rêve, non ?

Le couac, c’est qu’une fois en production, il s’est avéré que l’IA favorisait les CVs des hommes au détriment de ceux des femmes. Pour éviter le scandale, l’IA, totalement biaisée, a été jetée aux oubliettes ! 

Bon concrètement ça veut dire quoi ? L’IA reproduit-elle notre système patriarcal ? L’égalité homme/femme ne devrait-elle pas être une évidence dans le monde de l’IA ? 

Demandons donc aux développeurs d’Amazon ce qu’ils en pensent ! Que s’est-il passé ?

Amazon a entraîné son IA sur les CV de candidats à des postes d'ingénieur. Puis ils ont comparé ces données avec les ingénieurs déjà en poste chez Amazon. 

Est ce que vous me voyez venir ? Réfléchissez à qui postule pour des emplois en génie logiciel. Et qui est le plus susceptible d'être actuellement embauché pour du génie logiciel ? Chez Amazon c’est pourtant assez simple : des hommes blancs avec un fort niveau d’études.

Ainsi, à partir de cet échantillon, l'IA d'Amazon a «appris», entre autre, que les candidats qui semblaient plus blancs et plus masculins étaient plus susceptibles de convenir aux emplois d'ingénieur.

C’est tout le problème avec l’IA, si on lui donne, sans prendre garde, des données biaisées alors elle peut reproduire et parfois même amplifier les inégalités !


Grand-père, il était gentil Hitler, non ?

Est ce que vous pensez qu’il est possible de laver le cerveau d’une IA innocente et de la rendre fasciste en 24h ?

Le web a essayé avec Tay, l’IA de Microsoft, et … il a réussi !

On vous explique !

Microsoft a conçu Tay, un bot sur Twitter, pour en faire une expérience de “compréhension conversationnelle”. En gros, plus vous discutez avec Tay, plus elle devient intelligente. Tout ça en discutant avec elle sur Twitter à travers des “conversations décontractées et ludiques”. Mais Tay n’est rien d’autre qu’un perroquet qui s’imprègne des émotions et des propos des gens qui conversent avec elle. Puis Tay est capable de ressortir tout ça “intelligemment”.

En 15h et après 96 000 tweets, Tray a beaucoup appris… mais pas forcément le meilleur ! La preuve en image !

IA fasciste


Bon, en fait si on analyse les tweets plus en détail, on remarquera que bon nombre des plus tendancieux sont simplement le résultat de la copie d'utilisateurs. Si vous dites à Tay "répète après moi", cela permet à n'importe qui de faire dire n’importe quoi au chatbot.

Cependant, certains de ses tweets les plus étranges sont sortis spontanément. Par exemple, Tay avait une conversation banale avec un utilisateur avant de répondre à la question "Ricky Gervais est-il athée?":

@TheBigBrebowski ricky gervais a appris le totalitarisme d'Adolf Hitler, l'inventeur de l'athéisme
- TayTweets (@TayandYou) 23 mars 2016

On ne sait pas vraiment, quelles mesures Microsoft avait pris pour se prémunir d’un tel comportement. Tay aurait été construit à l'aide de "données publiques pertinentes" qui ont été "modélisées, nettoyées et filtrées", mais il semble qu'après la mise en ligne du chatbot, le filtrage soit passé à la trappe. Plus d’information sur Tay 


Maman, pourquoi grand-père il aurait dû rester à l’hôpital ?

Petit rappel pour vous rafraîchir la mémoire, l’IA n’est pas une baguette magique !  Elle n’invente rien ! Elle va juste plus vite que nous pour faire une tâche qu’elle a été entraîné pour faire ! 

“Elémentaire mon cher Watson !?“

Cette phrase est à bannir chez IBM depuis que leur programme “Watson pour le Cancer” a été arrêté. Après un investissement astronomique (62 millions de dollars), plusieurs fusions/acquisitions et quelques années de développement, l’IA censée aider les oncologues à traiter plus rapidement et plus justement le cancer n’a pas réussi à faire ses preuves. Pire, elle donnait des recommandations dangereuses et inadéquates pour traiter les patients malades.

Selon l’étude de STAT, le journal américain spécialisé dans le médical, Watson 

 [...] a été formé avec un petit nombre de cas de cancer «synthétiques», des patients hypothétiques, plutôt que de vraies données de patients. Les recommandations étaient basées sur l'expertise de quelques spécialistes pour chaque type de cancer […]  more 

En d’autres termes, cela signifie que les modèles de Watson n’ont pas été entraînés avec les bonnes données et les bons diagnostics. Malheureusement pour IBM,  l’IA n’invente rien.  Résultat, Watson à la poubelle . 
 
IBM wasting money on Watson

Papa, pourquoi j’ai été puni quand j’ai écrasé un piéton ?

L’analyse temps réel d’images, de vidéos ou autres signaux est un des grands challenges des voitures autonomes. Pour qu’une IA puisse obtenir son permis il faut qu’elle comprenne ce qui l’entoure pour ensuite prendre les bonnes décisions.

Côté compréhension de l'environnement on constate que les systèmes ne sont pas encore infaillibles. Maîtriser son environnement est un réel défi. A titre d’exemple, en 2018, une des premières voitures autonomes d’Uber a provoqué la mort d’un piéton à cause d'une mauvaise analyse de son système de détection d'obstacles.

Ensuite vient la partie décision, et se posent alors des questions éthiques. Si nos décisions humaines peuvent être guidées par des réflexes ou l'instinct de survie, l'IA doit les baser sur de la logique. On peut alors concevoir qu'une voiture choisisse d'envoyer dans le décor une personne seule en voiture plutôt que d'écraser 4 personnes en train de traverser la route. Mais que faire si ces personnes traversent au feu rouge, sont des tueurs en séries évadés ou simplement très âgées ou malades?

Ok ce n'est pas un vrai raté de l'IA, mais si on est pas méticuleux sur ce sujet cela risque d'en fournir quelques uns.

IA éthique
Si le sujet vous intéresse, le MIT a mis en place une Machine Morale où vous pouvez vous mettre à la place d’une voiture autonome ! Alors si facile de choisir ?


L’IA devrait-elle prendre plus de place ? 

Bon que diriez-vous, dans 10 ans, d’être accompagné au quotidien par des IA racistes, misogynes, fascistes ou assassines ? La réponse est bien évidemment non. Aussi faut-il se poser certaines questions au fur et à mesure que se développe cette nouvelle technologie. 

En voici quelques exemples pour conclure :
  • Comment accroitre la collaboration entre intelligence artificielle et humaine pour améliorer l'entrainement des algorithmes ? 
  • Comment garantir une supervision humaine efficace ? 
  • Comment définir les règles d'éthique d'une intelligence artificielle ?


IA vs human ! we win !

By submitting your email, you accept to receive our last blog's articles by email and you take note of our privacy policy

At any moment, you can unsubscribe thanks to unsubscribe links or by contacting us at contact@cobbai.com

Contact

Languages

Copyright 2019 Cobbai. All rights reserved