Un nouveau défi envahit les réseaux sociaux : le FaceApp Challenge, sous le hashtag #FaceApp. Le concept parait plutôt bon enfant : on modifie avec des filtres son visage pour le vieillir, le rajeunir, le faire sourire ou le transformer en homme ou en femme. Mais depuis son lancement, en janvier 2017, l’application russe est à l’origine de plusieurs polémiques. 

On se souvient du filtre hot (sexy), censé rendre les modèles plus beaux, et qui, une fois appliqué, blanchissait la peau. Puis du filtre qui permettait de changer l’apparence des utilisateurs pour les rendre caucasiens, asiatiques, indiens ou noirs, retiré quelques heures plus tard, après des accusations de racisme sur les réseaux sociaux. Et si l’intelligence artificielle était raciste ?

C’est en confrontant les logiciels de trois entreprises (IBM, Microsoft et Face ++) que des chercheurs du Massachusetts Institute of Technology (MIT) ont démontré en 2018 que plus la peau du sujet est foncée, plus le nombre d’erreurs commises par le logiciel de reconnaissance faciale est élevé : 35% d’erreur pour les femmes à la peau sombre, contre 1% pour les hommes blancs.

“Il existe des raisons simples (pour expliquer les moindres performances dans le cas d’une personne à la peau foncée, NDLR) tenant à l’éclairage. La reconnaissance faciale demande que des conditions de luminosité soient remplies afin que la machine soit en mesure de discerner, sur une image, les différentes parties du visage : nez, joues, pommettes, menton, etc. Or, pour les personnes à peau foncée, il faut plus de lumière”, explique Jean-Gabriel Ganascia, professeur au laboratoire d’informatique de l’université Pierre-et-Marie-Curie (Paris-VII), chercheur en intelligence artificielle, président du comité d’éthique du CNRS et auteur du Mythe de la singularité. Faut-il craindre l’intelligence artificielle ? (Seuil, 2017). Et d’ajouter : “S’il s’agit simplement de détecter que les noirs ont généralement une peau plus foncée que celle des blancs, ce n’est pas extrêmement difficile…”.

L’IA qui ne reconnaît pas Michelle Obama

“J’ai découvert que certains logiciels d’analyse faciale ne pouvaient détecter mon visage à la peau foncée tant que je n’avais pas mis un masque blanc. (…) Nous supposons souvent que les machines sont neutres, mais ce n’est pas le cas. Mes recherches ont mis au jour un important biais racial et sexiste dans les systèmes d’IA vendus par des géants de la technologie tels qu’IBM, Microsoft et Amazon”, écrit Joy Buolamwini, informaticienne et militante numérique américano-ghanéenne basée au MIT Media Lab, dans une tribune du Time.

Avec son équipe, Joy Buolamwini a démontré que les systèmes d’intelligence artificielle de grandes entreprises n’ont pas réussi à classer correctement les visages d’Oprah Winfrey, de Michelle Obama et de Serena Williams. “Lorsque la technologie dénigre même ces femmes emblématiques, il est temps de réexaminer comment ces systèmes sont construits et à qui ils servent véritablement”, continue l’informaticienne. Dans les données utilisées pour former le logiciel, les hommes représentent plus de 75% des données ; les blancs, plus de 80%.

Ce taux d’erreur élevé signifie aussi que des innocents sont identifiés à tort comme des criminels potentiels. Début juillet, des universitaires de l’Université d’Essex ont conclu que les tests de reconnaissance faciale menés par la police métropolitaine de Londres étaient erronés dans 80% des cas, entraînant potentiellement de graves erreurs judiciaires et de graves violations du droit des citoyens à la vie privée.

Black Mirror made in China

En Chine, cette technologie policière est déjà en pratique : le gouvernement a commencé à mettre en place un système à points qui évalue le comportement des citoyens dans les lieux publics et sur Internet, avec des conséquences sur leur vie réelle. Objectif affiché : “établir une culture de l’intégrité”. 

Et le pays ne cesse d’améliorer ses algorithmes. En mars 2018, une start-up chinoise — CloudWalk, principal fournisseur de technologie de reconnaissance faciale de la Banque de Chine et de Haitong Securities, une banque d’investissement et une maison de courtage chinoise — signait un partenariat avec le Zimbabwe.

Le gouvernement acceptait ainsi de céder l’accès à toutes les données biométriques de ses citoyens contre une technologie de reconnaissance faciale, et ce sans demander l’avis de sa population. En s’emparant de toutes les données sur les Zimbabwéens, la Chine a fait un grand bond en avant pour faire progresser ses propres algorithmes, qui ne marchent pour l’instant que sur les peaux claires. “Et, sans doute serait-il possible de catégoriser les visages en fonction de l’ethnie puis de construire une machine qui discriminerait sur ce critère. Encore faudrait-il s’assurer que les résultats sont scientifiquement fondés, ce qui n’est pas évident”, avance Jean-Gabriel Ganascia.

Pas besoin de se plonger dans un épisode de Black Mirror, la Chine a déjà franchi la ligne rouge. Selon des informations publiées par le New York Times en avril 2019, les autorités chinoises ont commencé à utiliser un système de reconnaissance faciale pour surveiller exclusivement les mouvements des membres de la minorité musulmane ouïghoure à travers tout le pays. Selon la même source, une ville du centre de la Chine a scanné en un seul mois 500.000 visages pour rechercher des résidents ouïghours.  

Rep. Alexandria Ocasio-Cortez tackled how the use of facial recognition technology can “exacerbate” racism. pic.twitter.com/0CRamYVz4D

— HuffPost (@HuffPost) May 23, 2019

Les minorités sexuelles sont aussi susceptibles d’être discriminées. En 2017, le professeur Michal Kosinski, de l’université de Stanford, prétendait avoir inventé d’utiliser la reconnaissance faciale pour reconnaître l’orientation sexuelle au faciès, avec une précision de 81%. Il a également déclaré au Guardian que la reconnaissance faciale pourrait être utilisée à l’avenir pour prédire le QI.

“Ce travail est discutable à la fois d’un point de vue éthique et d’un point de vue scientifique. En effet, il se fonde sur les images que les adhérents d’un site de rencontre donnent pour se présenter en même temps qu’ils déclarent leur orientation sexuelle. On ne peut s’empêcher en tant que scientifique d’imaginer tous les biais : coiffure, maquillage, épilation, bijoux, tatouages, piercing…,” explique Jean-Gabriel Ganascia.

En 2018, le président de Microsoft, Brad Smith, mettait en garde : “Il est temps que les gouvernements commencent à adopter des lois pour réguler cette technologie. Si nous n’agissons pas, nous risquons de nous réveiller dans cinq ans pour nous apercevoir que la reconnaissance faciale s’est diffusée en exacerbant les problèmes de société.” Le risque : que la technologie justifie des discriminations.

Algorithme oppressif

La prédiction de certaines caractéristiques morales, sociales, politiques ou religieuses en fonction du physique n’est pas sans rappeler les théories eugénistes du XIXe siècle, notamment reprises par les nazis. Selon Jean-Gabriel Ganascia, “la physiognomonie est une discipline à prétention scientifique qui prétendait qu’il existait un lien entre le caractère et les traits du visage. Cela utilise la physionomie qui est simplement l’ensemble des traits du visage, mais s’en distingue, puisqu’elle repose sur une prétendue corrélation entre le psychisme et la physionomie.”

Le chercheur ajoute : “Balzac avait souvent recours à la physiognomonie dans ses romans, sans avoir de sentiments racistes. La police et la justice y ont eu recours pour condamner des gens au prétexte qu’ils avaient un tempérament de criminel et que rien ne pourrait les sauver. Les nazis ont ensuite utilisé ces techniques pour détecter des non-ariens, en particulier des juifs. Il y avait là une perspective évidemment raciste, mais cela n’est pas nécessaire. Ainsi, on peut imaginer qu’il y ait un lien entre le visage d’un individu et son caractère, sans que cela s’hérite et donc que l’on puisse parler de racisme.”

En 2016, une start-up israélienne mettait au point Faception, la première technologie de profilage psychologique basé uniquement sur l’apparence des sujets. “Nous développons des classifications (…) : extraverti, QI élevé, joueur de poker professionnel…”, explique le groupe sur son site Internet. “Nous pouvons (…) offrir à nos clients une meilleure compréhension de leurs clients et des personnes qui défilent devant leurs caméras.” Faception prétend aussi reconnaître les pédophiles et les terroristes.

“Je suis optimiste sur le fait qu’il est encore temps de mettre en place des systèmes d’IA éthiques et inclusifs qui respectent notre dignité et nos droits humains”, écrit Joy Buolamwini, fondatrice de Algorithmic Justice League, une organisation qui cherche à combattre les préjugés dans les processus de décision des logiciels. “Sans doute, faudrait-il recruter des informaticiens dans toutes les composantes de la société. Cela serait une bonne chose pour de multiples raisons, en particulier parce que cela permettrait de donner espoir à beaucoup et de comprendre que la technologie ne tombe pas du ciel, mais qu’elle est faite nous, par nous tous”, estime Jean-Gabriel Ganascia.

Pour le chercheur, il est possible que l’intelligence artificielle devienne inclusive, “car l’IA ne se fonde pas uniquement sur la reconnaissance des visages. On peut même affirmer que, pour beaucoup d’application, l’IA aide (ou pourrait aider) à prendre des décisions de façon équitable, en faisant abstraction d’un certain nombre d’informations qui ne devraient pas entrer en considération dans la décision. Il devrait d’ailleurs être possible d’expliciter ces critères de façon transparente, ce qui accroît encore le caractère équitable des décisions”.