¿Es la IA en la sombra peor que la TI en la sombra?

Una oficina tranquila puede parecer inofensiva. Estanterías de monitores bañados en luz, auriculares cubriendo conversaciones, y el zumbido del trabajo continúa sin señal de que algo siniestro se esconde debajo. Pero cada vez más, hay tecnologías accidentales y no autorizadas — una carpeta personal en la nube aquí y un chatbot de IA no autorizado allá. Pronto, la organización necesitará gestionar todos estos nuevos riesgos imprevistos. Pero la TI en la sombra fue solo la primera carga de amenazas ocultas. La IA en la sombra ha elevado la apuesta.

Qué es la IA en la sombra y por qué está creciendo

Una extensión de la TI en la sombra, la IA en la sombra implica empleados utilizando tecnología no aprobada. La TI en la sombra típicamente se refiere a tecnología de consumo, como aplicaciones para compartir archivos o dispositivos personales. La IA en la sombra generalmente involucra sistemas de rápido movimiento, hambrientos de datos cuyo comportamiento puede ser errático.

\ Según investigaciones realizadas por Gartner, el 80% de las organizaciones experimentan brechas en la gobernanza de datos. Estas brechas facilitan que las personas pasen por alto el comportamiento generado por IA. Muchos equipos fallan en las evaluaciones de preparación para la ciberseguridad. El riesgo asociado con la IA aumenta cuando los empleados adoptan nuevas herramientas más rápido de lo que sus equipos pueden revisarlas adecuadamente. Dado que el 30% de las violaciones de datos se originan en vendedores o proveedores, saber qué herramientas utiliza un equipo es un componente crítico para asegurar los activos digitales de una empresa.

\ La IA en la sombra ha ganado tracción porque los empleados ven el contenido generado por IA como una forma más rápida de crear contenido, resumir información compleja y solucionar problemas técnicos. Reduce la fricción en el trabajo diario pero introduce riesgos no vistos previamente con preocupaciones de TI en la sombra, incluyendo exposición de datos, riesgo de cumplimiento y riesgos a nivel de modelo.

IA en la sombra versus TI en la sombra

La TI en la sombra ha sido culpada durante mucho tiempo por vulnerabilidades desconocidas. Un alto porcentaje de violaciones anteriores se debieron a herramientas SaaS no firmadas o almacenamiento personal. Las herramientas de IA cambian la ecuación por completo. La escala y velocidad a la que trabajan, junto con su opacidad, crean riesgos que son más difíciles de detectar y contener.

\ Con el 78% de las organizaciones utilizando IA en producción, algunas violaciones ahora se deben a la exposición de tecnología no gestionada. El modelo de TI más amplio sigue siendo importante, pero la IA introduce una nueva dimensión para ampliar la superficie de ataque.

Diferencias clave entre IA en la sombra y TI en la sombra

La IA en la sombra es similar a la TI en la sombra en que ambas surgen del deseo de un empleado de ser más productivo, pero difieren en dónde reside el riesgo.

• Las herramientas de TI en la sombra tienen lógica fija, lo que hace que el comportamiento sea predecible. Pronosticar el comportamiento de las herramientas de IA en la sombra es más complejo porque los modelos pueden ser modificados y reentrenados continuamente.
• Los riesgos de TI en la sombra incluyen datos almacenados o movidos sin autorización. Los riesgos de IA en la sombra incluyen inversión de modelos, envenenamiento de datos y entrenamiento de modelos.
• La TI en la sombra es determinista, mientras que las herramientas de IA pueden alucinar, generalizar pobremente y producir resultados incorrectos con exceso de confianza.

\ La IA en la sombra también surge en el contexto de próximas regulaciones, como la Ley de Inteligencia Artificial de la UE, que podría aumentar el escrutinio regulatorio.

Riesgos de seguridad que hacen que la IA en la sombra sea más urgente

La IA en la sombra puede llevar a problemas en ingeniería, marketing y finanzas. A medida que se toman decisiones basadas en resultados de IA, los datos propietarios pueden filtrarse y los procesos comerciales internos pueden ser manipulados sin que nadie lo note.

\

• Manipulación de modelos: Los atacantes pueden crear datos que sesgan los resultados.
• Exposición a inyección de prompt: Un prompt creado puede usarse para extraer información privada de un modelo.
• Brechas en el linaje de datos: Las herramientas de IA pueden generar y almacenar datos de formas que los equipos de seguridad no pueden rastrear.
• Desviación de cumplimiento: Las herramientas de IA cambian, y los planes de gobernanza en evolución pueden volverse irrelevantes.

\ La preocupación crece con el advenimiento de la IA generativa. Un chatbot respondiendo a la pregunta de un proveedor o un resumen de IA generativa puede parecer inofensivo, pero arriesga revelar datos de uso sensibles o propiedad intelectual valiosa. La Universidad Carnegie Mellon encontró que los modelos de lenguaje grandes son mucho más vulnerables a prompts adversarios que los sistemas basados en reglas. El problema aumenta cuando los empleados pueden usar las herramientas sin supervisión.

\ Un árbol de decisión habilitado por IA puede ser más sesgado que un árbol de decisión convencional. La IA en la sombra a menudo recibe información de entrenamiento incompleta introducida en herramientas de terceros. La supervisión estructurada de los sistemas de IA garantizaría la integridad de las actualizaciones. Cuando los equipos pasan por alto esto, los datos y el comportamiento del modelo se desvían.

Cómo los equipos de seguridad pueden reducir la exposición a la IA en la sombra

Aunque la IA en la sombra plantea numerosos riesgos, las organizaciones pueden mitigar muchos de ellos combinando visibilidad con políticas y controles técnicos, logrando un equilibrio que proteja la productividad de los empleados sin cargarlos con registros que consumen tiempo o sitios bloqueados. Los equipos de seguridad se benefician al tratar la IA en la sombra como un problema de gobernanza en lugar de un problema de castigo. Las estrategias de mitigación inevitablemente necesitarán evolucionar a medida que los empleados usan herramientas de IA para mejorar la productividad.

1. Construir un marco claro de gobernanza de IA

Un plan de gobernanza debe especificar qué herramientas de IA aprobar, qué tipos de datos pueden usar los empleados, cómo revisar los resultados del modelo antes de tomar decisiones de alto riesgo, y qué hacer cuando ocurre un comportamiento impredecible del modelo. Este último elemento incluye quién revisa el comportamiento, quién investiga sus causas y cuáles son las consecuencias.

\ Con la supervisión en su lugar, las organizaciones pueden tratar la IA como cualquier otro activo empresarial, sujeto a las mismas responsabilidades de trazabilidad, auditabilidad, seguridad y cumplimiento que otros sistemas empresariales heredados.

2. Proporcionar herramientas de IA aprobadas

Los equipos con acceso a herramientas de IA centralizadas y verificadas tienen menos probabilidades de recurrir a IA públicas no aprobadas para eludir bloqueadores. A medida que los trabajos se automatizan más, el personal dedicará más esfuerzo a varios modelos. Los trabajadores ya están gastando alrededor de 4.6 horas semanales usando IA en el trabajo, superando el tiempo promedio de uso personal de 3.6 horas por semana. La IA de terceros, sin un monitoreo adecuado, podría ya ser más común que las herramientas empresariales que son verificadas y aprobadas. Las empresas deberían tomar medidas inmediatas para hacer cumplir sus políticas.

\ Con un entorno gestionado, las organizaciones pueden monitorear el uso a través de herramientas, establecer permisos dentro de las bases de datos y hacer cumplir la gobernanza de datos en todos los departamentos. Esto mejora la productividad de los empleados mientras protege la integridad de los datos y el cumplimiento del negocio.

3. Monitorear el movimiento de datos y el uso de modelos

Las herramientas de visibilidad que marcan comportamientos anormales — como aumentos repentinos en el uso de IA, carga de datos a puntos finales inusuales o acceso al modelo en un marco de tiempo corto con datos sensibles — pueden ayudar a los equipos de seguridad a identificar el mal uso y las fugas de datos. Los informes indican que durante el último año, hasta el 60% de los empleados utilizaron herramientas de IA no aprobadas, y el 93% admitió haber ingresado datos de la empresa sin autorización.

\ Detectar estos patrones temprano puede permitir la remediación, la reeducación, la reconfiguración de permisos o la terminación del proceso antes de que conduzca a fugas de datos o infracciones de cumplimiento.

4. Capacitar a los empleados sobre riesgos específicos de IA

La capacitación en ciberseguridad en general no es suficiente. La IA puede alucinar al malinterpretar la intención detrás de los prompts y generar contenido aparentemente autoritario, falso o sesgado. Además, los trabajadores deben entender que el uso de IA difiere del uso de software o servicios. El uso seguro requiere cambiar modelos mentales, comprender los riesgos de los prompts y manejar datos personales.

\ Los usuarios con alfabetización básica en máquinas verificarán los resultados y tendrán menos probabilidades de compartir en exceso datos personales. Tratarán las herramientas como valiosos copilotos, pero deben usarse bajo supervisión humana.

Protegiendo a las organizaciones contra la IA en la sombra

La IA en la sombra está creciendo más rápido y es más difícil de identificar que la TI en la sombra. Aunque la escala y complejidad de los riesgos difieren, enlistar la ayuda de los empleados puede identificar ambos de manera más efectiva. Las políticas de gobernanza pueden ayudar a las empresas a lograr el equilibrio adecuado. Los equipos de seguridad deberían reevaluar su exposición, mantenerse vigilantes ante las amenazas emergentes y actuar con prontitud antes de que herramientas basadas en IA no vistas tomen decisiones cruciales en aplicaciones comerciales.