Em apenas alguns anos, a IA tornou-se integrada nas operações comerciais diárias, muitas empresas estão a avançar rapidamente para automatizar processos e confiar em sistemas impulsionados por IA. Mas de acordo com Georg Meyer, um estratega e especialista em sistemas, a velocidade e conveniência podem ter um custo, especialmente quando as empresas perdem visibilidade sobre como os seus sistemas mais importantes realmente funcionam.
Meyer alerta que um dos maiores riscos é uma falsa sensação de compreensão. "As empresas podem pensar que sabem o que está a acontecer por causa das instruções que deram", explica, "mas não têm verdadeira visibilidade do que acontece dentro da caixa."
Os sistemas de IA modernos, particularmente os grandes modelos de linguagem, são poderosos mas difíceis de inspecionar completamente. Os seus processos internos nem sempre são transparentes, e os seus resultados podem variar devido à aleatoriedade incorporada. Isto cria desafios em torno da consistência e fiabilidade, especialmente quando a IA é utilizada em funções comerciais essenciais. "Existem riscos ocultos para a reprodutibilidade e fiabilidade", diz Meyer, "que podem ser catastróficos quando afetam o coração da empresa."
Para Meyer, a solução não é evitar a IA, mas garantir que a compreensão humana permanece central. As empresas ainda precisam de pessoas que saibam como os sistemas funcionam, mesmo que esses sistemas sejam suportados por IA.
Ganhos a Curto Prazo, Riscos a Longo Prazo
Outra preocupação que Meyer destaca é o impacto a longo prazo da IA na especialização dentro das organizações. Embora a IA possa acelerar dramaticamente os fluxos de trabalho e ajudar a transformar conhecimento em ação, a dependência excessiva dela pode ter consequências não intencionais.
"Tanto a dependência excessiva quanto a insuficiente podem ser arriscadas", diz Meyer. "A IA pode reduzir o tempo necessário para aplicar especialização, mas levanta uma questão importante: como treinamos a próxima geração de especialistas se eles nunca desenvolvem os fundamentos?"
A curto prazo, a IA pode tornar as equipas mais produtivas. Mas se os funcionários começarem a depender dela para o pensamento crítico e resolução de problemas, as empresas arriscam-se a perder a especialização necessária para lidar com situações complexas, inesperadas ou que precisam de um toque humano. Meyer acredita que tanto as empresas como os educadores precisam de ser intencionais na manutenção do conhecimento fundamental, especialmente para cenários onde não se pode confiar na IA.
A Responsabilidade Ainda Pertence aos Humanos
Talvez a questão mais importante que Meyer levanta seja a responsabilidade. À medida que os sistemas de IA assumem mais responsabilidade, algumas organizações podem ser tentadas a transferir a culpa quando as coisas correm mal. Meyer é claro que esta não é uma abordagem viável.
"A responsabilidade, e a sua contraparte legal, a responsabilização, estão fundamentalmente ligadas aos humanos", diz. "Não se pode lavar as mãos de um mau resultado dizendo 'a IA fez isso'."
Ele aponta que muitas empresas já estão a tentar navegar nesta área cinzenta. Os fornecedores de IA frequentemente incluem avisos de que os seus sistemas podem cometer erros, enquanto indústrias como a automóvel promovem recursos de "condução autónoma" mas ainda responsabilizam o condutor humano. No entanto, Meyer argumenta que se os sistemas são verdadeiramente autónomos, a responsabilidade deve passar para aqueles que os projetam e implementam.
Isto aplica-se mesmo em casos de uso menores e quotidianos. Por exemplo, empresas que utilizam IA para construir aplicações que lidam com dados sensíveis não podem assumir que a tecnologia gerirá a segurança corretamente. "A IA não é confiada com os dados", diz Meyer. "A empresa é."
