Deteção de Viés Oculto em Sistemas de Recomendação de IA

Tabela de links

Resumo

1 Introdução

2 Trabalho Relacionado

2.1 Justiça e Viés em Recomendações

2.2 Quantificação de Associações de Género em Representações de Processamento de Linguagem Natural

3 Declaração do Problema

4 Metodologia

4.1 Âmbito

4.3 Sinalização

5 Estudo de Caso

5.1 Âmbito

5.2 Implementação

5.3 Sinalização

6 Resultados

6.1 Visualizações do Espaço Latente

6.2 Direções de Viés

6.3 Métricas de Amplificação de Viés

6.4 Cenários de Classificação

7 Discussão

8 Limitações e Trabalho Futuro

9 Conclusão e Referências

\

3 Declaração do Problema

A pesquisa sobre recomendação de fatores latentes desemaranhados tornou-se cada vez mais popular, pois os algoritmos LFR demonstraram entrelaçar atributos do modelo nas suas incorporações treinadas de utilizadores e itens, levando a resultados de recomendação instáveis e imprecisos [44, 58, 62, 65]. No entanto, a maioria desta pesquisa é focada em resultados, fornecendo métodos de mitigação para melhorar o desempenho, mas não abordando o potencial de viés de representação no espaço latente. Como resultado, poucas técnicas de avaliação existentes analisam como os atributos são explicitamente (devido ao uso distinto como atributo do modelo) ou implicitamente capturados no espaço latente de recomendação. Para aquelas que existem, as métricas concentram-se em avaliar níveis de desemaranhamento para atributos de modelo explicitamente utilizados e independentes, em vez de investigar possíveis associações de viés implícitas entre vetores de entidade e atributos sensíveis ou viés sistemático capturado dentro do espaço latente [44]. Embora o viés de representação latente se tenha tornado um fenómeno bem estudado noutros tipos de aprendizagem de representação, como processamento de linguagem natural e imagem, permanece relativamente pouco examinado em comparação com as grandes quantidades de pesquisa sobre viés de exposição e popularidade [23].

\ O trabalho apresentado neste artigo procura fechar a lacuna de pesquisa atual relativa à avaliação do viés de representação em algoritmos LFR, fornecendo uma estrutura para avaliar o viés de associação de atributos. Identificar potencial viés de associação de atributos codificado em incorporações de utilizadores e itens (entidades) é essencial quando se tornam características a jusante em sistemas de recomendação híbridos de múltiplos estágios, frequentemente encontrados em ambientes industriais [6, 14]. Avaliar a justiça composicional destes sistemas, ou o potencial de viés de um componente amplificar para componentes a jusante, é desafiador se não se compreender como este tipo de viés ocorre inicialmente dentro do componente do sistema [59]. Compreender o estado atual do viés é imperativo ao auditar e investigar o sistema antes da mitigação na prática [9]. Os nossos métodos propostos procuram reduzir a barreira para profissionais e investigadores que desejam entender como o viés de associação de atributos pode infiltrar-se nos seus sistemas de recomendação. Estas técnicas de avaliação permitirão aos profissionais definir com mais precisão quais atributos desemaranhar na mitigação e fornecer linhas de base para considerar a mitigação bem-sucedida.

\ Aplicamos estes métodos a um estudo de caso da indústria para avaliar o viés de associação de atributos de género do utilizador num modelo LFR para recomendações de podcasts. A pesquisa anterior concentrou-se principalmente na avaliação do viés de género do fornecedor devido à falta de dados publicamente disponíveis sobre o viés de género do utilizador; até onde sabemos, o nosso trabalho fornece uma das primeiras análises para quantificar o viés de género do utilizador em recomendações de podcasts. Esperamos que as nossas observações ajudem outros profissionais da indústria a avaliar o género do utilizador e outros vieses de associação de atributos sensíveis nos seus sistemas, forneçam insights quantitativos sobre a audição de podcasts além dos estudos qualitativos de utilizadores anteriores, e incentivem discussão futura e maior transparência de tópicos sensíveis dentro dos sistemas da indústria.

\

:::info Autores:

1. Lex Beattie
2. Isabel Corpus
3. Lucy H. Lin
4. Praveen Ravichandran

:::

:::info Este artigo está disponível no arxiv sob licença CC by 4.0 Deed (Atribuição 4.0 Internacional).

:::

\