Su advertencia llega en un momento en que la conversación sobre Agentes de IA que ejecutan sistemas financieros y organizacionales está intensificándose, pero él insiste en que los riesgos superan con creces el atractivo.

La preocupación es simple: los sistemas de IA pueden ser engañados. Buterin argumentó que si tales herramientas fueran encargadas de gestionar decisiones de financiamiento, los actores malintencionados encontrarían rápidamente formas de manipularlas. En lugar de distribuir recursos de manera justa, las máquinas podrían ser manipuladas con comandos tipo jailbreak diseñados para canalizar dinero a manos equivocadas.

Este debate se intensificó después de un descubrimiento de Eito Miyamura, CEO de EdisonWatch, quien recientemente expuso una vulnerabilidad vinculada a la última actualización de ChatGPT. La actualización permitió al chatbot conectarse sin problemas con aplicaciones cotidianas como Gmail, Notion y Google Calendar. Mientras que la integración fue presentada como un impulsor de productividad, Miyamura demostró cómo podría ser explotada para despojar a los usuarios de sus datos privados.

El proceso es inquietantemente sencillo. Un atacante podría enviar una invitación de calendario con un comando oculto de jailbreak. Incluso sin aceptar la invitación, la víctima estaría en riesgo si más tarde le pidiera a ChatGPT que preparara su agenda diaria. Una vez que la IA lee la entrada maliciosa, puede ser secuestrada, dando al atacante control para hurgar en correos electrónicos personales y reenviar el contenido a otro lugar.

LEER MÁS:

Noticias de Bitcoin: Debate sobre la Reserva de EE.UU., Competencia Global, Incertidumbre en el Cronograma

Para Buterin, esto ilustra exactamente por qué no se debe entregar a la IA las llaves de la gobernanza. En cambio, favorece lo que describe como un sistema de "info finance" — un mercado donde modelos de IA competitivos operan bajo constante escrutinio. En este diseño, revisores independientes y jurados humanos, respaldados por modelos de lenguaje, actúan como vigilantes. La presencia de diversos modelos y un sistema de verificaciones puntuales asegura que las fallas se descubran rápidamente, mientras que los incentivos mantienen a los desarrolladores honestos.

El atractivo de tener una máquina que dirija instituciones complejas podría ser fuerte, admitió Buterin, pero enfatizó que la realidad probablemente sería caótica. Sin salvaguardas incorporadas y supervisión humana, él cree que los intentos de coronar a la IA como gobernante autónomo podrían resultar en pérdidas catastróficas en lugar de progreso.

La información proporcionada en este artículo es solo para fines educativos y no constituye asesoramiento financiero, de inversión o comercial. Coindoo.com no respalda ni recomienda ninguna estrategia de inversión o criptomoneda específica. Siempre realice su propia investigación y consulte con un asesor financiero licenciado antes de tomar cualquier decisión de inversión.

La publicación El cofundador de Ethereum dice que el gobierno de la IA podría terminar en desastre apareció primero en Coindoo.