Détection des biais cachés dans les systèmes de recommandation d'IA

Table des liens

Résumé

1 Introduction

2 Travaux connexes

2.1 Équité et biais dans les recommandations

2.2 Quantification des associations de genre dans les représentations du traitement du langage naturel

3 Énoncé du problème

4 Méthodologie

4.1 Portée

4.3 Indicateur

5 Étude de cas

5.1 Portée

5.2 Implémentation

5.3 Indicateur

6 Résultats

6.1 Visualisations de l'espace latent

6.2 Directions de biais

6.3 Métriques d'amplification des biais

6.4 Scénarios de classification

7 Discussion

8 Limitations et travaux futurs

9 Conclusion et références

\

3 Énoncé du problème

La recherche sur les recommandations à facteurs latents désenchevêtrés est devenue de plus en plus populaire car il a été démontré que les algorithmes LFR enchevêtrent les attributs du modèle dans leurs embeddings d'utilisateurs et d'articles entraînés, conduisant à des résultats de recommandation instables et inexacts [44, 58, 62, 65]. Cependant, la plupart de ces recherches sont axées sur les résultats, fournissant des méthodes d'atténuation pour améliorer les performances mais n'abordant pas le potentiel de biais de représentation dans l'espace latent. En conséquence, peu de techniques d'évaluation existantes analysent comment les attributs sont explicitement (en raison d'une utilisation distincte comme attribut de modèle) ou implicitement capturés dans l'espace latent de recommandation. Pour celles qui existent, les métriques se concentrent sur l'évaluation des niveaux de désenchevêtrement pour les attributs de modèle explicitement utilisés et indépendants, au lieu d'étudier les associations de biais implicites possibles entre les vecteurs d'entité et les attributs sensibles ou les biais systématiques capturés dans l'espace latent [44]. Bien que le biais de représentation latente soit devenu un phénomène bien étudié dans d'autres types d'apprentissage de représentation, comme le traitement du langage naturel et le traitement d'images, il reste relativement peu examiné par rapport aux nombreuses recherches concernant l'exposition et le biais de popularité [23].

\ Le travail présenté dans cet article vise à combler le fossé de recherche actuel concernant l'évaluation du biais de représentation dans les algorithmes LFR en fournissant un cadre pour évaluer le biais d'association d'attributs. L'identification du biais d'association d'attributs potentiel encodé dans les embeddings d'utilisateurs et d'articles (entités) est essentielle lorsqu'ils deviennent des caractéristiques en aval dans des systèmes de recommandation hybrides multi-étapes, souvent rencontrés dans des contextes industriels [6, 14]. Évaluer l'équité compositionnelle de ces systèmes, ou le potentiel de biais d'un composant à s'amplifier dans les composants en aval, est difficile si l'on ne comprend pas comment ce type de biais se produit initialement dans le composant du système [59]. Comprendre l'état actuel du biais est impératif lors de l'audit et de l'investigation du système avant l'atténuation en pratique [9]. Nos méthodes proposées cherchent à abaisser la barrière pour les praticiens et les chercheurs souhaitant comprendre comment le biais d'association d'attributs peut s'infiltrer dans leurs systèmes de recommandation. Ces techniques d'évaluation permettront aux praticiens de déterminer plus précisément quels attributs désenchevêtrer dans l'atténuation et fournir des références pour juger de la réussite de l'atténuation.

\ Nous appliquons ces méthodes à une étude de cas industrielle pour évaluer le biais d'association d'attributs de genre des utilisateurs dans un modèle LFR pour les recommandations de podcasts. Les recherches antérieures se sont principalement concentrées sur l'évaluation du biais de genre des fournisseurs en raison du manque de données publiquement disponibles sur le biais de genre des utilisateurs; à notre connaissance, notre travail fournit l'un des premiers regards sur la quantification du biais de genre des utilisateurs dans les recommandations de podcasts. Nous espérons que nos observations aideront d'autres praticiens de l'industrie à évaluer le biais d'association d'attributs de genre des utilisateurs et d'autres attributs sensibles dans leurs systèmes, à fournir des informations quantitatives sur l'écoute de podcasts au-delà des études qualitatives antérieures sur les utilisateurs, et à encourager la discussion future et une plus grande transparence des sujets sensibles au sein des systèmes industriels.

\

:::info Auteurs:

1. Lex Beattie
2. Isabel Corpus
3. Lucy H. Lin
4. Praveen Ravichandran

:::

:::info Cet article est disponible sur arxiv sous licence CC by 4.0 Deed (Attribution 4.0 International).

:::

\