Como desbloquear a IA preditiva: Métricas de negócio

A IA preditiva oferece um potencial enorme – mas tem um histórico notoriamente fraco. Fora das grandes empresas de tecnologia e de um punhado de outras empresas líderes, a maioria das iniciativas falha na implementação, nunca realizando valor. Porquê? Os profissionais de dados não estão equipados para vender a implementação ao negócio. As métricas de desempenho técnico sobre as quais normalmente reportam não se alinham com os objetivos de negócio – e não significam nada para os decisores.

Para que tanto as partes interessadas como os cientistas de dados possam planear, vender e aprovar a implementação de IA preditiva, devem estabelecer e maximizar o valor de cada modelo de aprendizagem automática em termos de resultados de negócio como lucro, poupanças – ou qualquer KPI. Só medindo o valor é que o projeto pode realmente perseguir valor. E só colocando os profissionais de negócio e de dados na mesma página orientada para o valor é que a iniciativa pode avançar e ser implementada.

Por que as métricas de negócio são tão raras para projetos de IA

Dada a sua importância, por que são as métricas de negócio tão raras? A investigação mostrou que os cientistas de dados sabem melhor, mas geralmente não cumprem: Classificam as métricas de negócio como as mais importantes, mas na prática concentram-se mais em métricas técnicas. Por que é que geralmente saltam um passo tão crítico – calcular o potencial valor de negócio – muito para a ruína dos seus próprios projetos?

Essa é uma ótima pergunta.

A indústria não está presa nesta rotina apenas por razões psicológicas e culturais – embora esses sejam fatores contribuintes. Afinal, é deselegante e muito "direto" falar de dinheiro. As profissões de dados sentem-se compelidas a aderir às métricas técnicas tradicionais que exercitam e demonstram a sua experiência. Não é apenas que isso os faz soar mais inteligentes – com o jargão sendo uma forma comum para qualquer campo defender a sua própria existência e salários. Há também uma crença comum, mas equivocada, de que os não-quantitativos são incapazes de compreender verdadeiramente relatórios quantitativos de desempenho preditivo e seriam apenas enganados por relatórios destinados a falar na sua linguagem de negócios direta.

Mas se essas fossem as únicas razões, a "inércia cultural" teria sucumbido há anos, dado o enorme ganho de negócio quando os modelos de ML são implementados com sucesso.

O desafio da credibilidade: pressupostos de negócio

Em vez disso, a maior razão é esta: Qualquer previsão de valor de negócio enfrenta uma questão de credibilidade porque deve ser baseada em certos pressupostos. Estimar o valor que um modelo capturaria na implementação não é suficiente. O cálculo ainda tem de provar a sua confiabilidade, porque depende de fatores de negócio que estão sujeitos a mudanças ou incertezas, tais como:

• A perda monetária para cada falso positivo, como quando um modelo sinaliza uma transação legítima como fraudulenta. Com transações de cartão de crédito, por exemplo, isto pode custar cerca de $100.
• A perda monetária para cada falso negativo, como quando um modelo falha em sinalizar uma transação fraudulenta. Com transações de cartão de crédito, por exemplo, isto pode custar o montante da transação.
• Fatores que influenciam os dois custos acima. Por exemplo, com a deteção de fraude de cartão de crédito, o custo para cada transação fraudulenta não detetada pode ser reduzido se o banco tiver seguro contra fraude ou se as atividades de aplicação do banco recuperarem algumas perdas de fraude a jusante. Nesse caso, o custo de cada FN pode ser apenas 80% ou 90% do tamanho da transação. Essa percentagem tem margem de manobra ao estimar o valor implementado de um modelo.
• O limite de decisão, ou seja, a percentagem de casos a serem visados. Por exemplo, devem ser bloqueadas as 1,5% das transações que o modelo considera mais prováveis de serem fraudulentas, ou as 2,5% superiores? Essa percentagem é o limite de decisão (que por sua vez determina o limiar de decisão). Embora esta configuração tenda a receber pouca atenção, muitas vezes tem um impacto maior no valor do projeto do que melhorias no modelo ou nos dados. A sua configuração é uma decisão de negócio impulsionada pelas partes interessadas do negócio, representando um fundamento que define precisamente como um modelo será usado na implementação. Ao girar este botão, o negócio pode encontrar um equilíbrio no compromisso entre o valor monetário/resultado final primário de um modelo e o número de falsos positivos e falsos negativos, bem como outros KPIs.

Estabelecendo a credibilidade das previsões apesar da incerteza

O próximo passo é tomar uma decisão existencial: Evita prever completamente o valor de negócio do valor de ML? Isso evitaria abrir uma caixa de Pandora. Ou reconhece a valorização de ML como um desafio que deve ser abordado, dada a necessidade urgente de calcular o potencial benefício da implementação de ML para alcançá-lo? Se ainda não é óbvio, o meu voto é para o último.

Para abordar esta questão de credibilidade e estabelecer confiança, o impacto da incerteza deve ser considerado. Experimente diferentes valores nos extremos do intervalo de incerteza. Interaja dessa forma com os dados e os relatórios. Descubra quanto a incerteza importa e se deve de alguma forma ser reduzida para estabelecer um caso claro para implementação. Apenas com insight e intuição sobre quanta diferença esses fatores fazem é que o seu projeto pode estabelecer uma previsão credível do seu potencial valor de negócio – e assim alcançar de forma confiável a implementação.