Notas Principais
- Vitalik Buterin alertou que a governança ingênua de IA é facilmente explorada.
- Uma demonstração recente mostrou como atacantes poderiam enganar o ChatGPT para vazar dados privados.
- O modelo "info finance" de Buterin promove diversidade, supervisão e resiliência.
O cofundador da Ethereum, Vitalik Buterin, alertou seus seguidores no X sobre os riscos de depender da inteligência artificial (IA) para governança, argumentando que as abordagens atuais são muito fáceis de explorar.
As preocupações de Buterin seguiram outro alerta do cofundador da EdisonWatch, Eito Miyamura, que mostrou como agentes maliciosos poderiam sequestrar o novo Protocolo de Contexto de Modelo (MCP) da OpenAI para acessar dados privados de usuários.
Os Riscos da Governança Ingênua de IA
O teste de Miyamura revelou como um simples convite de calendário com comandos ocultos poderia enganar o ChatGPT a expor e-mails sensíveis assim que o assistente acessasse a entrada comprometida.
Especialistas em segurança observaram que os grandes modelos de linguagem não conseguem distinguir entre instruções genuínas e maliciosas, tornando-os altamente vulneráveis à manipulação.
Buterin disse que esta falha é um grande sinal de alerta para sistemas de governança que depositam muita confiança na IA.
Ele argumentou que se tais modelos fossem usados para gerir financiamentos ou tomadas de decisão, os atacantes poderiam facilmente contornar as salvaguardas com prompts estilo jailbreak, deixando os processos de governança abertos a abusos.
Info Finance: Uma Alternativa Baseada no Mercado
Para abordar essas fraquezas, Buterin propôs um sistema que ele chama de "info finance". Em vez de concentrar poder em uma única IA, esta estrutura permite que múltiplos modelos de governança compitam em um mercado aberto.
Qualquer pessoa pode contribuir com um modelo, e suas decisões podem ser desafiadas através de verificações aleatórias, com a palavra final deixada para júris humanos.
Esta abordagem é projetada para garantir resiliência combinando diversidade de modelos com supervisão humana. Além disso, incentivos são incorporados tanto para desenvolvedores quanto para observadores externos detectarem falhas.
Projetando Instituições para Robustez
Buterin descreve isso como um método de "design institucional", onde grandes modelos de linguagem de diferentes contribuidores podem ser conectados, em vez de depender de um único sistema centralizado.
Ele acrescentou que isso cria diversidade em tempo real, reduzindo o risco de manipulação e garantindo adaptabilidade à medida que novos desafios surgem.
No início de agosto, Buterin criticou o impulso em direção a Agentes de IA altamente autônomos, dizendo que o aumento do controle humano geralmente melhora tanto a qualidade quanto a segurança.
Ele apoia modelos que permitem edição iterativa e feedback humano em vez daqueles projetados para operar independentemente por longos períodos.
próximo
Aviso legal: A Coinspeaker está comprometida em fornecer relatórios imparciais e transparentes. Este artigo visa entregar informações precisas e oportunas, mas não deve ser considerado como conselho financeiro ou de investimento. Como as condições de mercado podem mudar rapidamente, encorajamos você a verificar as informações por conta própria e consultar um profissional antes de tomar qualquer decisão baseada neste conteúdo.
Um jornalista cripto com mais de 5 anos de experiência na indústria, Parth trabalhou com os principais meios de comunicação no mundo cripto e financeiro, acumulando experiência e conhecimento no espaço após sobreviver a mercados de alta e baixa ao longo dos anos. Parth também é autor de 4 livros autopublicados.
Parth Dubey no LinkedIn
Fonte: https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
