D'ici 2030, la question ne sera plus « Avez-vous de l'argent ? ». Elle sera « Êtes-vous approuvé par l'IA ? »

J'ai passé des années à observer comment les gens gèrent leur argent. Il m'a vraiment ébranlé de voir la machinerie silencieuse qui décide désormais qui peut participer à la vie économique.

Il y a quelques mois, un de mes collègues — quelqu'un que je connais depuis plus de dix ans, une personne avec un revenu stable, sans dettes et avec une habitude d'épargne qui ferait la fierté de la plupart des conseillers financiers — s'est vu refuser une ligne de crédit. Aucune explication n'a été donnée. Aucune lettre n'a été envoyée. Juste un écran indiquant que la demande ne pouvait pas être traitée à ce moment-là.

Il a appelé le prêteur. On lui a dit que la décision avait été prise par une machine. Il a demandé ce qui l'avait déclenchée. On lui a répondu qu'ils ne pouvaient pas partager cette information. Il a demandé s'il pouvait parler à quelqu'un qui pourrait effectuer une révision manuelle, et il y a eu une pause, puis des excuses formulées par script.

Cette conversation m'est restée en mémoire. Non pas parce que le résultat était terrible. Il va bien. Il n'avait pas besoin du crédit de toute urgence. Mais à cause de ce qu'elle révélait sur le monde dans lequel nous vivons déjà. Une machine l'avait examiné. Avait décidé quelque chose, et il ne restait plus aucun être humain dans la chaîne qui puisse lui dire ce qu'elle avait vu.

Je pense souvent à cette conversation quand j'envisage à quoi ressemblera 2030. Je pense que la question que la plupart des gens ne posent pas assez fort est celle-ci : quand l'IA devient le gardien de l'accès financier, qu'est-ce qu'on cède exactement ?

Le système qui a remplacé le chargé de prêts

J'ai grandi en regardant mon père négocier avec un directeur de banque. Ce n'était pas un processus. Le directeur posait des questions, faisait des suppositions, et toute l'affaire sentait les préjugés que personne ne nommait à voix haute. Le système était imparfait, et je n'en suis pas nostalgique.

Il avait une chose que la trajectoire actuelle est en train d'éliminer silencieusement : un être humain que l'on pouvait interroger, qui portait une responsabilité et qui existait dans la même pièce que les conséquences de ses décisions.

Pour la majeure partie de l'histoire, la solvabilité était évaluée à travers un petit ensemble d'éléments comme le revenu, l'emploi, les dettes existantes et l'historique de remboursement. Les bureaux de crédit ont transformé ces éléments en scores. Ces scores étaient rudimentaires et souvent injustes. Ils étaient au moins faciles à comprendre. On pouvait comprendre, en termes clairs, ce qu'ils mesuraient. On pouvait contester une erreur. On pouvait, avec le temps, changer le nombre.

Ce que j'ai vu se produire au cours de ces dernières années est un changement fondamental qui s'éloigne de cette simplicité. Les modèles de machine learning traitent désormais des milliers de signaux simultanément pour évaluer le risque financier. Pas seulement votre historique de paiement. La façon dont vous tapez sur un formulaire. Le temps que votre curseur passe à survoler avant que vous ne soumettiez. Les applications installées sur votre téléphone. Si le rythme de votre vie correspond au rythme de quelqu'un que le modèle a appris à faire confiance.

Ces signaux semblent presque ridicules quand on les nomme individuellement. Collectivement, ils produisent des décisions qui façonnent si quelqu'un peut emprunter de l'argent, louer un appartement, être assuré ou décrocher un emploi. Les personnes qui reçoivent ces décisions n'ont souvent aucune idée du poids qu'a porté chaque signal individuel.

L'identité que vous ne saviez pas être en train de construire

Voici la partie que je trouve vraiment difficile à accepter : l'identité financière lue par ces systèmes n'est pas celle que vous avez consciemment construite. C'est celle que vous avez laissé filtrer pendant des années à travers votre comportement numérique.

Vous n'avez pas décidé que les applications sur votre téléphone diraient quelque chose sur votre solvabilité. Vous ne saviez pas que l'heure de la journée à laquelle vous avez tendance à soumettre des formulaires était enregistrée et corrélée avec des modèles de remboursement. Vous n'avez pas signé un accord stipulant que le graphe social vous reliant à vos contacts serait utilisé pour évaluer votre profil de risque.

C'est l'architecture qui est assemblée, pièce par pièce, dans les entreprises fintech, les bureaux de crédit et les plateformes d'assurance du monde entier. L'identité que le système infère à votre sujet est construite à partir d'un portrait que vous avez posé pour sans vous en rendre compte.

Cela crée un fossé auquel je pense souvent. Il y a la personne que vous savez être : quelqu'un qui fait attention à son argent, qui a le contexte pour expliquer les choses inhabituelles dans son historique financier, qui a des raisons pour les choix qui pourraient paraître aberrants à un algorithme. Puis il y a l'ombre statistique de vous qu'un modèle d'IA voit. Ces deux choses ne sont pas la même personne. De plus en plus, c'est l'ombre, et non la personne, qui détermine l'accès.

J'ai parlé à des personnes qui se sont vu refuser des emprunts après avoir déménagé dans une ville — non pas parce que leur comportement financier avait changé, mais parce que leur nouvelle adresse était corrélée dans les données d'entraînement à des taux de défaut plus élevés. J'ai parlé à des freelances qui ont été pénalisés non pas pour la façon dont ils gèrent leur argent, mais parce que les modèles de revenus variables ressemblent, pour un modèle entraîné sur des salariés, à de l'instabilité. J'ai parlé à des adultes qui ont été signalés non pas pour quelque chose qu'ils ont fait, mais pour la minceur de leur trace numérique dans un monde qui lit de plus en plus cette minceur comme suspecte.

Ce qui se construit quand l'efficacité devient l'objectif

Je veux être juste ici, car je pense que la conversation autour de l'IA et de l'accès financier dévie souvent vers une sorte de peur de la technologie qui ne sert personne. L'expansion de l'évaluation de crédit pilotée par l'IA a apporté des avantages à de vraies personnes. Les prêteurs fintech utilisant des données comportementales ont accordé du crédit à des millions de personnes qui n'avaient aucun historique financier formel et étaient totalement invisibles pour les systèmes bancaires traditionnels. C'est important. Ce sont des vies qui ont changé parce qu'un système pouvait voir quelque chose qu'une agence bancaire ne pouvait pas.

Voici la tension à laquelle je reviens sans cesse : être efficace et être équitable ne sont pas le même objectif, et optimiser sans relâche l'un ne produit pas automatiquement l'autre.

Un modèle peut être extrêmement précis pour prédire les défauts au sein d'une population tout en étant structurellement injuste envers des individus au sein de sous-groupes que les données d'entraînement ne représentaient pas adéquatement. Un système peut ouvrir des portes pour certaines populations tout en les fermant silencieusement pour d'autres. Ce ne sont pas des contradictions qui se résolvent d'elles-mêmes par l'ingénierie. Elles sont le résultat de choix, souvent implicites, sur ce que le modèle optimise et dont l'expérience les données d'entraînement reflètent.

Les personnes qui m'inquiètent le plus dans cette transition sont celles que ces systèmes ont le plus de mal à lire. Les immigrants récents avec des historiques numériques limités. Les adultes plus âgés qui ont bâti leur vie avant que la trace de données soit tout. Les personnes dans des géographies ou des communautés sous-représentées dans les ensembles de données qui ont entraîné les modèles. Les personnes qui, pour des raisons légitimes, ont des comportements qui semblent aberrants à un système construit sur des populations différentes.

Pour ces personnes, les décisions d'accès pilotées par l'IA risquent de fonctionner comme un mur plutôt qu'une porte. Non pas parce qu'elles représentent un risque dans un sens humain significatif, mais parce que le système ne peut pas les classifier avec confiance, et les systèmes qui ne peuvent pas classifier avec confiance ont tendance à adopter par défaut l'exclusion.

La décennie dans laquelle nous nous trouvons réellement

Ce que je pense être sous-estimé à propos de ce moment, c'est la vitesse à laquelle ces systèmes deviennent fondamentaux. Ce n'est pas une technologie testée dans des programmes pilotes. Elle est déjà intégrée dans le crédit, l'assurance, la sélection des locataires et l'évaluation de l'emploi dans de nombreuses parties du monde. Les règles qui la gouvernent sont, par endroits, loin derrière la réalité de son fonctionnement.

L'Europe a pris des mesures. Les règles y imposent des exigences de transparence et d'explicabilité sur la prise de décision automatisée. Ces exigences ne sont pas parfaites. Elles établissent un principe : qu'une personne a le droit de comprendre, en termes avec lesquels elle peut réellement s'engager, pourquoi un système automatisé a pris une décision qui a affecté sa vie.

Ce principe n'existe pas de manière cohérente ailleurs. Dans certains marchés, l'IA qui décide de votre solvabilité opère sans aucune obligation de s'expliquer à votre égard. Vous pouvez être refusé, sans recours, sans explication et sans aucun moyen de comprendre ce que le système a vu qui l'a conduit à cette conclusion.

Je crois que cela va devenir l'une des tensions déterminantes de la prochaine décennie. Non pas les scénarios dramatiques qui dominent les discours sur l'IA, comme les armes ou les perturbations à l'échelle de la science-fiction. Mais la tension plus silencieuse et immédiate de savoir qui peut participer à la vie économique et à quelles conditions, à mesure que les systèmes régissant cette participation deviennent plus rapides, plus opaques et plus conséquents.

Ce que la confiance exige réellement

J'ai passé du temps dans des espaces où des décisions financières sont prises. Ce à quoi je reviens sans cesse en regardant cette transformation se déployer, c'est que la confiance n'est pas un score. C'est quelque chose de plus complexe et de plus humain que ça.

La confiance implique du contexte. Elle implique la capacité d'entendre une histoire et de comprendre pourquoi un nombre a l'air qu'il a. Elle implique un jugement qui va au-delà de la reconnaissance de formes. Les systèmes d'IA sophistiqués disponibles aujourd'hui sont vraiment impressionnants pour la partie reconnaissance de formes. Ils ne sont pas capables du reste.

Le risque que je vois dans le monde que nous construisons n'est pas que les machines prendront des décisions. Les institutions ont toujours utilisé des outils pour gérer l'échelle de leurs décisions. Le risque est que nous en venions à confondre la confiance de la machine avec la plénitude du jugement. Que nous cessions de poser des questions parce que le modèle a renvoyé un nombre et que ce nombre semble définitif.

Que vous soyez approuvé par l'IA va compter de plus en plus dans les années à venir. La question qui devrait compter tout autant — et à laquelle je pense chaque fois que je me souviens de cette conversation avec mon collègue — est de savoir si l'IA mérite la confiance que nous lui accordons.

Ce n'est pas une question à laquelle l'IA peut répondre. C'est une question que nous devons continuer à poser, avec suffisamment de persistance pour s'assurer que les personnes qui construisent et déploient ces systèmes sont à l'écoute.

Si cet article a exprimé quelque chose que vous ressentez sans vraiment pouvoir l'expliquer, je suis heureux qu'il vous ait parlé. Suivez cette publication pour des articles sur la technologie, la finance et leur impact sur les gens. Si vous avez aimé cet article, faites-le savoir à d'autres pour qu'ils puissent le trouver aussi. Vous pouvez le faire en applaudissant. Laissez un commentaire. Dites-nous ce que vous pensez, même si vous n'êtes pas d'accord avec l'article ou si vous le percevez différemment. Cette publication est créée par des personnes qui écrivent sur des sujets qui leur tiennent à cœur. Elles apportent leurs réflexions et expériences aux articles. Si vous avez une histoire à raconter, contactez-nous. Nous pouvons travailler dessus ensemble. *

By 2030 the Question Won't Be 'Do You Have Money?'. It Will Be 'Are You Approved by the AI?' a été publié à l'origine dans Coinmonks sur Medium, où les gens continuent la conversation en mettant en avant et en répondant à cette histoire.