Points Clés
- Vitalik Buterin a averti que la gouvernance naïve par l'IA est trop facilement exploitable.
- Une démonstration récente a montré comment des attaquants pourraient tromper ChatGPT pour divulguer des données privées.
- Le modèle "info finance" de Buterin favorise la diversité, la surveillance et la résilience.
Le cofondateur d'Ethereum, Vitalik Buterin, a mis en garde ses abonnés sur X concernant les risques liés à la dépendance à l'intelligence artificielle (IA) pour la gouvernance, soutenant que les approches actuelles sont trop faciles à exploiter.
Les préoccupations de Buterin font suite à un autre avertissement du cofondateur d'EdisonWatch, Eito Miyamura, qui a montré comment des acteurs malveillants pourraient détourner le nouveau Model Context Protocol (MCP) d'OpenAI pour accéder aux données privées des utilisateurs.
Les Risques d'une Gouvernance IA Naïve
Le test de Miyamura a révélé comment une simple invitation de calendrier avec des commandes cachées pourrait tromper ChatGPT pour exposer des emails sensibles une fois que l'assistant a accédé à l'entrée compromise.
Les experts en sécurité ont noté que les grands modèles de langage ne peuvent pas distinguer entre les instructions authentiques et malveillantes, les rendant hautement vulnérables à la manipulation.
Buterin a déclaré que cette faille est un signal d'alarme majeur pour les systèmes de gouvernance qui accordent trop de confiance à l'IA.
Il a soutenu que si de tels modèles étaient utilisés pour gérer le financement ou la prise de décision, les attaquants pourraient facilement contourner les protections avec des invites de type jailbreak, laissant les processus de gouvernance ouverts aux abus.
Info Finance : Une Alternative Basée sur le Marché
Pour remédier à ces faiblesses, Buterin a proposé un système qu'il appelle "info finance". Au lieu de concentrer le pouvoir dans une seule IA, ce cadre permet à plusieurs modèles de gouvernance de concourir sur un marché ouvert.
N'importe qui peut contribuer avec un modèle, et leurs décisions peuvent être contestées par des vérifications aléatoires, le dernier mot étant laissé aux jurys humains.
Cette approche est conçue pour assurer la résilience en combinant la diversité des modèles avec la surveillance humaine. De plus, des incitations sont intégrées pour les développeurs et les observateurs externes afin de détecter les failles.
Concevoir des Institutions pour la Robustesse
Buterin décrit cela comme une méthode de "conception d'institution", où les grands modèles de langage de différents contributeurs peuvent être intégrés, plutôt que de s'appuyer sur un système centralisé unique.
Il a ajouté que cela crée une diversité en temps réel, réduisant le risque de manipulation et assurant l'adaptabilité à mesure que de nouveaux défis émergent.
Plus tôt en août, Buterin a critiqué la tendance vers des Agents d'IA hautement autonomes, affirmant qu'un contrôle humain accru améliore généralement à la fois la qualité et la sécurité.
Il soutient les modèles qui permettent l'édition itérative et le retour d'information humain plutôt que ceux conçus pour fonctionner indépendamment pendant de longues périodes.
suivant
Avertissement : Coinspeaker s'engage à fournir des reportages impartiaux et transparents. Cet article vise à fournir des informations précises et opportunes, mais ne doit pas être considéré comme un conseil financier ou d'investissement. Comme les conditions du marché peuvent changer rapidement, nous vous encourageons à vérifier les informations par vous-même et à consulter un professionnel avant de prendre des décisions basées sur ce contenu.
Journaliste crypto avec plus de 5 ans d'expérience dans l'industrie, Parth a travaillé avec les principaux médias du monde de la crypto et de la finance, acquérant expérience et expertise dans ce domaine après avoir survécu aux marchés haussiers et baissiers au fil des ans. Parth est également auteur de 4 livres auto-publiés.
Parth Dubey sur LinkedIn
Source : https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
