重點摘要
- Vitalik Buterin警告，天真的AI治理太容易被利用。
- 最近的演示展示了攻擊者如何欺騙ChatGPT洩漏私人數據。
- Buterin的"資訊金融"模型促進多樣性、監督和韌性。
以太坊聯合創始人Vitalik Buterin在X上警告他的粉絲關於依賴人工智能(AI)進行治理的風險，他認為目前的方法太容易被利用。
Buterin的擔憂緊隨EdisonWatch聯合創始人Eito Miyamura的另一個警告，後者展示了惡意行為者如何劫持OpenAI的新模型上下文協議(MCP)來訪問私人用戶數據。
天真AI治理的風險
Miyamura的測試揭示了一個帶有隱藏命令的簡單日曆邀請如何在助手訪問受損條目後欺騙ChatGPT暴露敏感電子郵件。
安全專家指出，大型語言模型無法區分真實指令和惡意指令，使它們極易受到操縱。
Buterin表示，這個缺陷對於過度信任AI的治理系統來說是一個重大警訊。
他認為，如果這些模型被用於管理資金或決策，攻擊者可以輕易地使用越獄式提示繞過安全措施，使治理過程容易受到濫用。
資訊金融：基於市場的替代方案
為了解決這些弱點，Buterin提出了一個他稱為"資訊金融"的系統。這個框架不是將權力集中在單一AI上，而是允許多種治理模型在開放市場中競爭。
任何人都可以貢獻一個模型，他們的決定可以通過隨機抽查來挑戰，最終決定權留給人類評審。
這種方法旨在通過結合模型多樣性和人類監督來確保韌性。此外，為開發者和外部觀察者建立了激勵機制以檢測缺陷。
為穩健性設計機構
Buterin將此描述為一種"機構設計"方法，一種可以插入來自不同貢獻者的大型語言模型，而不是依賴單一集中系統的方法。
他補充說，這創造了實時多樣性，降低了操縱風險，並確保了在新挑戰出現時的適應性。
在八月初，Buterin批評了推動高度自主AI代理的趨勢，表示增加人類控制通常會提高質量和安全性。
他支持允許迭代編輯和人類反饋的模型，而不是那些設計為長期獨立運行的模型。
下一頁
免責聲明：Coinspeaker致力於提供公正透明的報導。本文旨在提供準確及時的信息，但不應被視為財務或投資建議。由於市場條件可能迅速變化，我們鼓勵您自行驗證信息，並在根據本內容做出任何決定前諮詢專業人士。
Parth是一位擁有超過5年行業經驗的加密貨幣記者，他曾與加密和金融世界的主要媒體機構合作，在經歷多年的熊市和牛市後積累了豐富的經驗和專業知識。Parth也是4本自出版書籍的作者。
Parth Dubey在LinkedIn上
來源：https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
