Comment réparer l'IA prédictive : les métriques commerciales

L'IA prédictive offre un potentiel énorme – mais elle a un bilan notoirement médiocre. En dehors des géants de la technologie et d'une poignée d'autres entreprises de premier plan, la plupart des initiatives échouent à se déployer, ne réalisant jamais de valeur. Pourquoi ? Les professionnels des données ne sont pas équipés pour vendre le déploiement à l'entreprise. Les métriques de performance technique sur lesquelles ils rapportent généralement ne s'alignent pas avec les objectifs commerciaux – et ne signifient rien pour les décideurs.

Pour que les parties prenantes et les data scientists puissent planifier, vendre et donner le feu vert au déploiement de l'IA prédictive, ils doivent établir et maximiser la valeur de chaque modèle d'apprentissage automatique en termes de résultats commerciaux comme le profit, les économies – ou tout autre KPI. Ce n'est qu'en mesurant la valeur que le projet peut réellement poursuivre la valeur. Et ce n'est qu'en amenant les professionnels du business et des données sur la même page orientée valeur que l'initiative peut avancer et se déployer.

Pourquoi les métriques commerciales sont si rares pour les projets d'IA

Étant donné leur importance, pourquoi les métriques commerciales sont-elles si rares ? La recherche a montré que les data scientists savent mieux, mais généralement ne s'y conforment pas : ils classent les métriques commerciales comme les plus importantes, mais en pratique se concentrent davantage sur les métriques techniques. Pourquoi sautent-ils généralement une étape aussi critique – calculer la valeur commerciale potentielle – au détriment de leurs propres projets ?

C'est une sacrée bonne question.

L'industrie n'est pas bloquée dans cette ornière uniquement pour des raisons psychologiques et culturelles – bien que ce soient des facteurs contributifs. Après tout, c'est gauche et trop "direct" de parler d'argent. Les professions de données se sentent obligées de s'en tenir aux métriques techniques traditionnelles qui exercent et démontrent leur expertise. Ce n'est pas seulement que cela les fait paraître plus intelligents – le jargon étant un moyen courant pour tout domaine de défendre sa propre existence et ses salaires. Il existe également une croyance commune mais erronée selon laquelle les non-quantitatifs sont incapables de vraiment comprendre les rapports quantitatifs de performance prédictive et seraient seulement induits en erreur par des rapports destinés à parler dans leur langage commercial direct.

Mais si c'étaient les seules raisons, "l'inertie culturelle" aurait succombé il y a des années, étant donné l'énorme succès commercial lorsque les modèles d'apprentissage automatique se déploient avec succès.

Le défi de crédibilité : hypothèses commerciales

Au lieu de cela, la plus grande raison est celle-ci : toute prévision de valeur commerciale fait face à une question de crédibilité car elle doit être basée sur certaines hypothèses. Estimer la valeur qu'un modèle capturerait lors du déploiement n'est pas suffisant. Le calcul doit encore prouver sa fiabilité, car il dépend de facteurs commerciaux qui sont sujets à changement ou à l'incertitude, tels que :

• La perte monétaire pour chaque faux positif, comme lorsqu'un modèle signale une transaction légitime comme frauduleuse. Avec les transactions par carte de crédit, par exemple, cela peut coûter environ 100 $.
• La perte monétaire pour chaque faux négatif, comme lorsqu'un modèle ne parvient pas à signaler une transaction frauduleuse. Avec les transactions par carte de crédit, par exemple, cela peut coûter le montant de la transaction.
• Les facteurs qui influencent les deux coûts ci-dessus. Par exemple, avec la détection de fraude par carte de crédit, le coût pour chaque transaction frauduleuse non détectée pourrait être réduit si la banque dispose d'une assurance contre la fraude ou si les activités d'application de la banque récupèrent certaines pertes de fraude en aval. Dans ce cas, le coût de chaque FN pourrait être seulement de 80% ou 90% de la taille de la transaction. Ce pourcentage a une marge de manœuvre lors de l'estimation de la valeur déployée d'un modèle.
• La limite de décision, c'est-à-dire le pourcentage de cas à cibler. Par exemple, faut-il bloquer les 1,5% des transactions que le modèle considère comme les plus susceptibles d'être frauduleuses, ou les 2,5% supérieurs ? Ce pourcentage est la limite de décision (qui détermine à son tour le seuil de décision). Bien que ce paramètre tende à recevoir peu d'attention, il a souvent un impact plus important sur la valeur du projet que les améliorations apportées au modèle ou aux données. Son réglage est une décision commerciale motivée par les parties prenantes commerciales, représentant un fondamental qui définit précisément comment un modèle sera utilisé lors du déploiement. En tournant ce bouton, l'entreprise peut trouver un équilibre dans le compromis entre la valeur monétaire/résultat net primaire d'un modèle et le nombre de faux positifs et de faux négatifs, ainsi que d'autres KPI.

Établir la crédibilité des prévisions malgré l'incertitude

L'étape suivante consiste à prendre une décision existentielle : évitez-vous complètement de prévoir la valeur commerciale de la valeur ML ? Cela empêcherait l'ouverture d'une boîte de Pandore. Ou reconnaissez-vous l'évaluation ML comme un défi qui doit être relevé, étant donné le besoin urgent de calculer le potentiel avantage du déploiement ML afin de l'atteindre ? Si ce n'est pas déjà évident, mon vote va pour cette dernière option.

Pour répondre à cette question de crédibilité et établir la confiance, l'impact de l'incertitude doit être pris en compte. Essayez différentes valeurs aux extrémités de la plage d'incertitude. Interagissez de cette façon avec les données et les rapports. Découvrez à quel point l'incertitude compte et si elle doit être réduite d'une manière ou d'une autre afin d'établir un cas clair pour le déploiement. Ce n'est qu'avec une compréhension et une intuition de l'ampleur de la différence que ces facteurs font que votre projet peut établir une prévision crédible de sa valeur commerciale potentielle – et ainsi atteindre de manière fiable le déploiement.