Son avertissement survient à un moment où les discussions autour des Agents d'IA gérant des systèmes financiers et organisationnels s'intensifient, mais il insiste sur le fait que les risques l'emportent largement sur l'attrait.

La préoccupation est simple : les systèmes d'IA peuvent être trompés. Buterin a soutenu que si de tels outils étaient chargés de gérer les décisions de financement, les acteurs malveillants trouveraient rapidement des moyens de les manipuler. Au lieu de distribuer équitablement les ressources, les machines pourraient être manipulées avec des invites de type jailbreak conçues pour canaliser l'argent vers de mauvaises mains.

Ce débat s'est intensifié après une découverte d'Eito Miyamura, PDG d'EdisonWatch, qui a récemment exposé une vulnérabilité liée à la dernière mise à niveau de ChatGPT. La mise à jour permettait au chatbot de se connecter de manière transparente avec des applications quotidiennes comme Gmail, Notion et Google Calendar. Alors que l'intégration était présentée comme un stimulant de productivité, Miyamura a démontré comment elle pouvait être exploitée pour dépouiller les utilisateurs de leurs données privées.

Le processus est inquiétamment simple. Un attaquant pourrait envoyer une invitation de calendrier contenant une commande de jailbreak cachée. Même sans accepter l'invitation, la victime serait en danger si elle demandait plus tard à ChatGPT de préparer son agenda quotidien. Une fois que l'IA lit l'entrée malveillante, elle peut être détournée, donnant à l'attaquant le contrôle pour fouiller dans les emails personnels et transférer le contenu ailleurs.

LIRE PLUS:

Actualités Bitcoin : Débat sur la Réserve américaine, Compétition mondiale, Incertitude sur le calendrier

Pour Buterin, cela illustre exactement pourquoi l'IA ne devrait pas se voir confier les clés de la gouvernance. Au lieu de cela, il privilégie ce qu'il décrit comme un système "d'info finance" — un marché où des modèles d'IA concurrents opèrent sous une surveillance constante. Dans cette conception, des examinateurs indépendants et des jurys humains, soutenus par des modèles de langage, agissent comme des chiens de garde. La présence de modèles divers et d'un système de contrôles ponctuels garantit que les défauts sont découverts rapidement, tandis que les incitations maintiennent l'honnêteté des développeurs.

L'attrait d'avoir une machine gérant des institutions complexes pourrait être fort, a admis Buterin, mais il a souligné que la réalité serait probablement désordonnée. Sans garanties intégrées et surveillance humaine, il estime que les tentatives de couronner l'IA comme gouverneur autonome pourraient entraîner des pertes catastrophiques plutôt que des progrès.

Les informations fournies dans cet article sont uniquement à des fins éducatives et ne constituent pas des conseils financiers, d'investissement ou de trading. Coindoo.com n'approuve ni ne recommande aucune stratégie d'investissement ou cryptomonnaie spécifique. Effectuez toujours vos propres recherches et consultez un conseiller financier agréé avant de prendre des décisions d'investissement.

L'article Le co-fondateur d'Ethereum affirme que la gouvernance par l'IA pourrait se terminer en catastrophe est apparu en premier sur Coindoo.