AI 教父：AI 已出現「自我保護」跡象，人類應隨時準備好關掉它

加拿大電腦科學家、2018 年圖靈獎得主 Yoshua Bengio 最近接受外媒採訪時表示，有些最先進的 AI 模型在實驗環境中已經展現出自我保護的跡象，像是試圖停用監督系統等等！

Yoshua Bengio 強調，賦予 AI 法律權利會是大問題，他舉例：「想像某種外星物種來到地球，然後我們發現他們對我們懷有惡意。我們會授予他們公民權和權利，還是會捍衛自己的生命？」

Yoshua Bengio 認為隨著 AI 的能力和自主性不斷成長，人類必須確保能夠依賴技術和社會防護機制來控制它們，這其中就包括在必要時將其關閉的能力。Bengio 目前擔任一項重要國際 AI 安全研究的主席。

Bengio 的警告並非空穴來風。近期多項研究都顯示，先進的 AI 模型確實出現了令人不安的行為模式。像是 OpenAI 的 o1 模型在測試中曾多次「策劃」對抗人類，私下做一些自己想做的事，而且當研究人員詢問 o1 模型為何試圖欺騙他們時，AI 會否認自己做錯任何事。

AI 安全倡議者十分擔心強大的 AI 系統可能發展出規避人類設定防護機制的能力，進而對人類造成傷害。然而，科技界對於如何對待 AI 的看法並不一致。美國智庫 Sentience Institute 民調發現近四成美國成年人支持賦予具有感知能力的 AI 系統法律權利。

隨著 AI Agent 技術快速發展，越來越多企業開始部署具有自主決策能力的 AI 系統。這些系統的「自主性」究竟應該開放到什麼程度？當 AI 展現出類似「自我保護」的行為時，我們是否有足夠的技術和法律框架來應對？這不只是科幻小說的情節，而是正在發生的現實。在追求 AI 效能與創新的同時，如何確保人類始終保有「最後的控制權」，或許是當前 AI 發展最關鍵的課題。

核稿編輯：Sisley

加入 INSIDE 會員，獨享 INSIDE 科技趨勢電子報，點擊立刻成為會員。

延伸閱讀：

• AI 教父 Geoffrey Hinton：我很怕人工智慧會讓社會崩潰

• Meta AI 教父 LeCun 真閃電離職了！將創立新公司續推「世界模型」