L’intelligence artificielle (IA) dans les collèges et les universités est surtout connue pour ses dispositifs de suivi pédagogique : systèmes de tutorat intelligent, systèmes adaptatifs et personnalisés pour différents profils étudiants, tableaux de bord et prédiction de la réussite (Collin et Marceau, 2021).

Or, alors que les systèmes automatisés d’IA sont souvent perçus comme étant neutres et objectifs, ils s’appuient sur des choix effectués en amont par des équipes de conception qui ne sont pas neutres, ni nécessairement justes et équitables (Université de Montréal et IVADO, 2021).

L’introduction de l’IA en enseignement supérieur entraine donc de nouveaux défis sur les plans de l’équité, de la diversité et de l’inclusion (EDI) de toutes les personnes étudiantes. Elle suscite également des questionnements à propos de l’accessibilité des populations étudiantes marginalisées.

IA et processus d’admission : un exemple de données porteuses de biais

Les algorithmes qui servent d’aide à la décision — dans les processus d’admission au collège et à l’université, par exemple — s’appuient sur des données qui peuvent être biaisées.

Les systèmes d’IA peuvent donc reproduire, voire amplifier certains biais et stéréotypes déjà présents dans la société (Cachat-Rosset, 2022) et conduire à des décisions discriminatoires (Noiry, 2021) envers certaines personnes qui font partie de groupes marginalisés.

Cette reproduction des biais dans les systèmes d’IA pourrait conduire à restreindre l’accessibilité à l’enseignement supérieur de certaines populations étudiantes.

Qu’est-ce qu’un biais ?

Un biais constitue une déviation par rapport à un résultat censé être neutre (Bertail et al., 2019). Il existe deux grandes familles de biais :

(1) Les biais cognitifs, qui renvoient à des raisonnements incorrects ou à des erreurs de jugement ou de perception qui dévient de la pensée logique. Souvent inconscients, ils peuvent être liés à des émotions — peur, colère, etc. — ou à des habitudes de pensée acquises depuis longtemps (Gauvreau, 2021).

L’un des biais cognitifs les plus répandus est le biais de confirmation, qui consiste à privilégier les informations qui confortent nos opinions, nos croyances ou nos valeurs et à ignorer ou à discréditer celles qui les contredisent (ibid.).

Le biais d’essentialisme est quant à lui associé à des préjugés entretenus envers les membres de certains groupes sociaux, dont les caractéristiques sont perçues comme immuables (ibid.).

(2) Les biais de représentativité renvoient à une inadéquation entre :

  • D’un côté, les données utilisées pour concevoir un algorithme d’aide à la décision (provenant des personnes inscrites dans un programme d’études, par exemple) ;
  • De l’autre côté, les données cibles sur lesquelles l’algorithme sera déployé (provenant des personnes candidates dans un programme, par exemple).

En effet, l’IA fonctionne par « apprentissage » : des algorithmes sont créés pour extraire des données, les analyser, cerner les tendances et faire des prédictions. Si certains groupes étudiants sont sous-représentés dans les données, on assiste à la reproduction de l’exclusion (Ravanera et Kaplan, 2021).

Ainsi, l’absence de personnes issues d’un groupe marginalisé dans le jeu de données visant à créer un algorithme d’aide à la décision dans les processus d’admission peut constituer un biais de représentativité (Bertail et al., 2019).

Les biais de représentativité présents dans les bases de données des systèmes d’IA proviennent, entre autres, de la composition des équipes de conception (Collin et Marceau, 2021; Gaudreau et Lemieux, 2020). Il s’agit d’un milieu majoritairement masculin, où la représentation des femmes et des groupes sociodémographiques minoritaires (personnes racisées, par exemple) est très faible (Observatoire international sur les impacts sociétaux de l’IA et du numérique – OBVIA, s. d.).

Représentation au sein des équipes IA :

  • Personnel professionnel en IA : 24 % de femmes au Canada et 22 % à l’échelle mondiale (Ravanera et Kaplan, 2021) ;
  • Les femmes et les hommes qui ont indiqué appartenir à une minorité visible étaient moins susceptibles de pratiquer une profession dans le domaine des sciences, technologies, ingénierie et mathématique (STIM) que leurs homologues qui n’ont pas indiqué appartenir à une minorité visible (Statistique Canada, 2019, dans Ravanera et Kaplan, 2021) ;
  • Moins de 3 % des personnes qui travaillent à temps plein chez Google sont noires. Ce pourcentage grimpe à 4 % chez Microsoft (West et al., 2019, dans Ravanera et Kaplan, 2021).

Discriminations algorithmiques

Ce manque de diversité au sein des équipes de conception peut donc augmenter la présence de biais envers certains groupes marginalisés, qui font également partie de la population étudiante des établissements d’enseignement supérieur. Ces personnes risquent ainsi de ne pas avoir de voix, d’être exclues des systèmes (Gaudreau et Lemieux, 2020) et de demeurer invisibles parce qu’elles ne sont pas représentées dans les données ou parce que leurs besoins ne sont pas jugés prioritaires (Gentelet et Lambert, 2021).

Un peu d’histoire

L’attention portée à la reproduction des biais et des discriminations n’est pas nouvelle. Dans les années 1970 et 1980, une école de médecine du Royaume-Uni a utilisé un programme informatique pour sélectionner les candidatures. Il a rejeté les personnes de genre féminin et portant un nom non européen parce que l’algorithme était basé sur les données antérieures des demandes acceptées et que ces personnes y étaient peu représentées (Ravanera et Kaplan, 2021).

Plus récemment, toujours au Royaume-Uni, la pandémie de COVID-19 a entrainé l’annulation des examens de fin d’année dans les écoles secondaires. Une méthode alternative prenant la forme d’un algorithme de notation (A-Level) a été conçue pour déterminer les notes des étudiantes et des étudiants pour l’année scolaire 2019-2020.

La publication des résultats a suscité de nombreuses critiques, notamment sur l’effet de l’algorithme de notation. En effet, les élèves ayant fréquenté les écoles publiques ont été déclassés, alors que les résultats des élèves des écoles privées ont été améliorés. Ce déséquilibre peut désavantager les élèves provenant d’un milieu socioéconomique défavorisé et diminuer ainsi l’accessibilité à l’enseignement supérieur (Poirier, 2020).

Un système d’IA d’aide à la décision fondé sur des données porteuses de biais peut donc mener à une décision discriminatoire (Université de Montréal et IVADO, 2021).

Les discriminations algorithmiques

Tiré de la page YouTube Sorbonne Université [@SorbonneUniversite] (2021).

Vers une IA inclusive et responsable

Il est donc crucial que l’intégration de l’IA dans les systèmes de l’enseignement supérieur s’accompagne d’une prise en compte des enjeux d’équité, de diversité et d’inclusion (EDI), notamment des biais et des discriminations qui peuvent en découler (Observatoire international sur les impacts sociétaux de l’IA et du numérique – OBVIA).

Des questionnements nécessaires

-Les équipes de conception intègrent-elles des expertises représentatives de la diversité (ethnoculturelle, de genre, de classe, etc.) lorsqu’elles développent des technologies d’IA ? (Collin et Marceau, 2021)

-Les équipes de conception sont-elles formées sur le plan des biais et des décisions potentiellement discriminatoires des systèmes d’IA ? (Cachat-Rosset, 2022)

-Quelles sont les meilleures pratiques pour identifier et atténuer les biais et la discrimination dans les systèmes d’IA ? (Université de Montréal et IVADO, 2021). Les met-on en application ?

-Doit-on rendre accessible l’information sur le fonctionnement des algorithmes dans les secteurs publics où sont utilisées des données sensibles (éducation, santé, etc.) ? (Gentelet et Lambert, 2021)

Ancrer les questionnements sur l’IA dans un cadre fondé sur l’EDI et la justice (Collin et Marceau, 2021) permet d’envisager le développement technologique au service des personnes — et non l’inverse — et de promouvoir une IA inclusive et responsable (Castets-Renard, 2019).

Pour ce faire, il est nécessaire de « contrer cette obligation de prendre le virage numérique à tout prix et à toute vitesse, afin d’éviter la sortie de route. S’il y a une urgence, c’est celle de ralentir et de faire émerger des conditions favorables à la participation [citoyenne]. Ainsi, il sera possible de trouver des réponses inclusives à des problématiques numériques qui demeurent avant tout sociales. »

Gentelet et Lambert, 2021

C’est notamment pour répondre à ces préoccupations qu’a été rédigée la Déclaration de Montréal pour un développement responsable de l’intelligence artificielle, une initiative de l’Université de Montréal (2017) en vue d’orienter le développement de l’IA de manière inclusive. La Déclaration comprend dix principes : le bien-être, le respect de l’autonomie, la protection de l’intimité et de la vie privée, la solidarité, la participation démocratique, l’équité, l’inclusion de la diversité, la prudence, la responsabilité et le développement soutenable.

Certaines des recommandations de l’UNESCO (2019) en matière d’IA vont également en ce sens, par exemple :

  • Faciliter le développement de normes et de politiques pour l’amélioration de l’ouverture et de la transparence dans les algorithmes de l’IA ;
  • Réduire les fractures numériques en ce qui concerne l’accès à l’IA, notamment celles liées au genre, en établissant des mécanismes de suivi indépendants ;
  • Viser l’égalité des genres et la diversité ethnoculturelle ainsi que l’inclusion des groupes marginalisés dans les dialogues multipartites sur les questions de l’IA ;
  • Évaluer la discrimination algorithmique des populations historiquement marginalisées.

Des efforts sont donc en cours pour envisager des solutions qui atténuent la discrimination et l’invisibilité de groupes marginalisés par des systèmes d’IA biaisés (Gentelet, 2022).

L’une des clés pour repérer les discriminations potentielles consiste à étudier les résultats d’un modèle d’IA en développement pour y débusquer les mécanismes discriminatoires sous-jacents (Université de Montréal et IVADO, 2021).

Parmi les meilleures pratiques à adopter pour atténuer les biais lors de la modélisation de l’IA, mentionnons :

  • Évaluer la diversité de la composition de l’équipe de conception, et ce, dès le début du projet ;
  • Comprendre le but, les parties prenantes et les conséquences potentielles de l’application du modèle IA en développement ;
  • Examiner la provenance des jeux de données ;
  • S’assurer que le modèle d’IA développé est réellement conforme à des pratiques responsables (ibid.).

Cette dernière étape consiste à vérifier si les personnes visées par la décision d’un système d’IA (la population étudiante faisant partie de groupes marginalisés, par exemple) subissent des préjudices.  

La mise en place de mécanismes de réglementation de l’IA devrait aller en ce sens : si une décision basée sur un système d’IA portait préjudice à une personne étudiante, qui en serait tenu responsable (Gentelet et Lambert, 2021) ? Le fait qu’un établissement d’enseignement supérieur puisse être tenu imputable d’une décision discriminatoire justifie à lui seul que les systèmes d’IA soient conçus en tenant compte de l’équité, de la diversité et de l’inclusion en amont de leur création.

Références

Bertail, P., Bounie, D., Clémençon, S. et Waelbroeck, P. (2019). Algorithmes : biais, discrimination et équité. Institut Mines-Télécom de France.

Cachat-Rosset, G. (2022, 4 novembre). Les enjeux de discrimination et d’inclusion en IA [communication orale]. Département de mathématiques et de statistique de l’Université du Québec à Trois-Rivières.

Castets-Renard, C. (2019, 10 octobre). Intelligence artificielle : combattre les biais des algorithmes. The Conversation.

Collin, S. et Marceau, E. (2021). L’intelligence artificielle en éducation : enjeux de justice. Formation et profession, 29(2), 1‑4.

Gaudreau, H. et Lemieux, M.-M. (2020). L’intelligence artificielle en éducation : un aperçu des possibilités et des enjeux. Le Conseil.

Gauvreau, C. (2021, 11 janvier). Reconnaître les biais cognitifs. Actualités UQAM.

Gentelet, K. (2022, 31 mai). Repenser la justice sociale en contexte d’IA : défis majeurs [communication orale]. Chaire Justice sociale et intelligence artificielle, Paris, France.

Gentelet, K. et Lambert, S. (2021, 14 juin). La justice sociale : l’angle mort de la révolution de l’intelligence artificielle. The Conversation.

Noiry, N. (2021, 31 août). Des biais de représentativité en intelligence artificielle. Blog Binaire – Le Monde.

Observatoire international sur les impacts sociétaux de l’IA et du numérique – OBVIA. (s. d.). Équité, diversité et inclusion.

Poirier, A. (2020, 17 août). Au Royaume-Uni, le scandale de l’algorithme qui a lésé les lycéens ne s’apaise pas. L’Express.

Ravanera, C. et Kaplan, S. (2021). Une perspective d’équité en matière d’intelligence artificielle. Institute for Gender and the Economy, Rotman School of Management, Université de Toronto.

Sorbonne Université (2021). Les discriminations algorithmiques | 2 minutes d’IA [vidéo]. Sorbonne Center for Artificial Intelligence (SCAI).

UNESCO (2019). Piloter l’IA et les TIC avancées pour les sociétés du savoir : une perspective basée sur les droits de l’homme, l’ouverture, l’accessibilité et la participation multipartite.

Université de Montréal (2017). Déclaration de Montréal pour un développement responsable de l’intelligence artificielle.

Université de Montréal et IVADO (2021). Biais et discrimination en IA [MOOC].