En tan solo unos pocos años, la IA se ha integrado en las operaciones comerciales cotidianas, muchas empresas se están moviendo rápidamente para automatizar procesos y depender de sistemas impulsados por IA. Pero según Georg Meyer, un estratega y experto en sistemas, la velocidad y la conveniencia pueden tener un costo, especialmente cuando las empresas pierden visibilidad sobre cómo funcionan realmente sus sistemas más importantes.
Meyer advierte que uno de los mayores riesgos es una falsa sensación de comprensión. "Las empresas pueden pensar que saben lo que está sucediendo debido a las instrucciones que dieron", explica, "pero no tienen verdadera visibilidad de lo que sucede dentro de la caja".
Los sistemas de IA modernos, particularmente los modelos de lenguaje grandes, son poderosos pero difíciles de inspeccionar completamente. Sus procesos internos no siempre son transparentes, y sus resultados pueden variar debido a la aleatoriedad incorporada. Esto crea desafíos en torno a la consistencia y confiabilidad, especialmente cuando la IA se usa en funciones comerciales centrales. "Existen riesgos ocultos para la reproducibilidad y confiabilidad", dice Meyer, "que pueden ser catastróficos cuando afectan el corazón de la empresa".
Para Meyer, la solución no es evitar la IA, sino asegurar que la comprensión humana permanezca central. Las empresas todavía necesitan personas que sepan cómo funcionan los sistemas, incluso si esos sistemas están respaldados por IA.
Ganancias a corto plazo, riesgos a largo plazo
Otra preocupación que Meyer destaca es el impacto a largo plazo de la IA en la experiencia dentro de las organizaciones. Aunque la IA puede acelerar drásticamente los flujos de trabajo y ayudar a convertir el conocimiento en acción, la dependencia excesiva de ella puede venir con consecuencias no deseadas.
"Tanto la dependencia excesiva como la insuficiente pueden ser riesgosas", dice Meyer. "La IA puede reducir el tiempo que lleva aplicar la experiencia, pero plantea una pregunta importante, ¿cómo entrenamos a la próxima generación de expertos si nunca desarrollan los fundamentos?"
A corto plazo, la IA puede hacer que los equipos sean más productivos. Pero si los empleados comienzan a depender de ella para el pensamiento central y la resolución de problemas, las empresas corren el riesgo de perder la experiencia necesaria para manejar situaciones complejas, inesperadas o que necesitan un toque humano. Meyer cree que tanto las empresas como los educadores deben ser intencionales sobre mantener el conocimiento fundamental, especialmente para escenarios donde no se puede confiar en la IA.
La responsabilidad todavía pertenece a los humanos
Quizás el tema más importante que Meyer plantea es la responsabilidad. A medida que los sistemas de IA asumen más responsabilidad, algunas organizaciones pueden verse tentadas a cambiar la culpa cuando las cosas van mal. Meyer es claro en que este no es un enfoque viable.
"La responsabilidad, y su contraparte legal, la obligación, están fundamentalmente vinculadas a los humanos", dice. "No puedes lavarte las manos de un mal resultado diciendo 'la IA lo hizo'".
Señala que muchas empresas ya están tratando de navegar esta área gris. Los proveedores de IA a menudo incluyen advertencias de que sus sistemas pueden cometer errores, mientras que industrias como la automotriz promueven características de "conducción autónoma" pero aún responsabilizan al conductor humano. Sin embargo, Meyer argumenta que si los sistemas son verdaderamente autónomos, la responsabilidad debe trasladarse a quienes los diseñan e implementan.
Esto se aplica incluso en casos de uso más pequeños y cotidianos. Por ejemplo, las empresas que usan IA para construir aplicaciones que manejan datos sensibles no pueden asumir que la tecnología gestionará la seguridad correctamente. "La IA no es la que está encargada de los datos", dice Meyer. "La empresa lo está".
