AI 本身並不具敵意。它只是工具。改變的是它現在能多麼廉價且快速地融入已經奏效的電子郵件攻擊中。
攻擊鏈並未演進。它們變得更經濟了。網路釣魚、商業電子郵件入侵和憑證竊取。相同的機制,但文案更好、生產更快。語言錯誤消失了。目標定位更緊密。曾經需要數天的攻擊活動現在幾分鐘內就能完成。
防禦者也在使用 AI。每個人都是。但攻擊者的數量仍然占優勢。大規模生成令人信服的電子郵件,比在不干擾正常郵件流程或讓團隊被誤報淹沒的情況下調整偵測模型更容易。
因此風險並非新的 AI 超級武器。而是熟悉的技術,經過自動化、打磨,並以比大多數防�禦措施更快的速度部署。這個差距正是收件匣持續遭殃的原因。
本文分析了實際上發生了什麼變化、什麼沒有變化,以及電子郵件安全策略如何因應調整。
生成式 AI 如何改變電子郵件攻擊
AI 為攻擊者提供的是速度和可靠性,而且投入更少。網路釣魚和魚叉式網路釣魚仍然造成大部分損害,但 AI 生成的攻擊活動消除了防禦者多年來依賴的許多特徵。訊息更乾淨、更一致,且在過濾器發現時易於重新生成。
目標定位也有所改善。公開的資料外洩數據、抓取的社群檔案、職缺列表和洩露的文件,為理解角色、供應商和內部語言的模型提供資訊。結果是一封引用真實工具、真實專案和真實人物的電子郵件。
偵察和迭代現已自動化。主旨、時機和措辭經過大規模測試,然後根據誰點擊或回覆進行調整。這個反饋循環過去是手動的。現在它持續運行,這就是為什麼安全團隊看到的明顯警示信號變少了,而落入灰色地帶的訊息變多了。
世界經濟論壇等組織的報告顯示,與 AI 相關的風險上升速度快於大多數其他類別。生成式數據洩露和對抗性使用反覆出現。一旦你了解 AI 工具傳播到日常工作流程的速度有多快,這些都不令人驚訝。
不同的是意識。IT 團隊現在看到了暴露風險,無論是組織外部還是內部。影子工具、提示詞洩露、使用敏感數據訓練的模型。熟悉的問題,只是披上了新標籤。
為什麼傳統電子郵件防禦措施陷入困境
語言曾經是可靠的信號。笨拙的措辭、文法錯誤和不匹配的語氣會暴露網路釣魚活動。這個優勢已經消失了。
AI 生成的電子郵件不會像舊模板那樣重複。每條訊息看起來可能略有不同,但仍承載相同的意圖。當沒有穩定的模式可以依據時,基於模式的偵測就會陷入困境。
這就是為什麼安全團隊看到更多乍看之下感覺正常的訊息。它們引用真實的對話。時機與工作日和截止日期一致。沒有任何東西能快速突顯出來,觸發用戶或過濾器的警戒。
偵測已從發現不良語言轉變為發現不合理的行為。通常是誰發送這類訊息?他們何時發送?收件人通常如何回應?這些問題比電子郵件如何撰寫更重要。
生成式 AI 系統與不斷擴大的風險
外部攻擊只是問題的一半。當防護機制薄弱或不存在時,內部 AI 系統會帶來自身的暴露風險。
AI 助理擴大了攻擊面
隨著組織推出可存取電子郵件和內部文件的聊天機器人和助理,營運控制往往跟不上。透過對抗性提示,安全性不佳的 AI 工具可能會在不觸發明顯警報的情況下洩露敏感資訊。這種風險並非假設性的。這是在沒有了解該存取權如何被使用的情況下授予廣泛存取權的後果。
代理系統倍增影響
代理系統增加了另一層風險。當 AI 被允許採取行動,而不僅僅是回答問題時,攻擊者可以濫用這些工作流程來自動化他們過去手動處理的任務。如果存取控制鬆散,網路釣魚準備、內部查詢和數據收集都可以串連在一起。過去需要時間和協調的工作現在在背景中靜默運行。
影子 AI 繞過現有控制
影子 AI 使情況更糟。當員工將內部數據連接到未經核准的工具時,它完全繞過了現有的安全控制。這些背景資訊不會長時間保持私密,一旦洩露,就會直接注入下一波個人化攻擊。從安全角度來看,這些工具會造成盲點,直到損害已經造成才會出現在日誌中。
速度超越治理
速度往往超越治理。這種權衡在電子郵件中迅速顯現,因為對系統生成訊息的信任已經很高。當 AI 輸出感覺常規且具權威性時,用戶行動更快且質疑更少。這種隱含的信任正是攻擊者尋找的。
組織如何適應
防禦者並不試圖在生成速度上超越攻擊者。那是一場必輸的遊戲。相反,正在改變的是團隊如何決定什麼看起來不對勁。
靜態規則和關鍵字比對正在讓位給行為信號,當訊息與發送者通常的溝通方式或收件人通常的回應方式不一致時,這些信號會發出警示。觀察一段時間內的對話流程提供了單一訊息永遠無法提供的背景資訊。
身分控制也承擔了更多權重。更強的身分驗證、更嚴格的存取政策,以及對內部發送者更好的驗證,減少了冒充行為得逞時的影響。及早阻止假的內部訊息比完美分類每封外部訊息更重要。
組織也在加強自身的 AI 治理。關於哪些數據可以輸入工具、提示詞如何記錄,以及誰可以部署助理的政策,開始類似於早期雲端採用週期的數據遺失控制。
AI 輔助偵測在人類和靜態邏輯不足的地方效果最佳。它可能無法單獨正確標記每條訊息,但會浮現隨時間推移不合理的模式。
仍然重要的實際步驟
大多數對抗 AI 驅動的電子郵件攻擊有效的防禦措施並不新穎。改變的是它們執行的一致性,以及它們與攻擊實際發生方式的契合程度。
- 身分驗證仍然重要。
當正確執行時,DMARC、SPF 和 DKIM 持續減少冒充行為。當這些控制鬆散或執行不一致時,攻擊者不需要進階工具就能成功。AI 只是幫助他們更快地通過已經存在的漏洞。 - 數據暴露助長個人化。
公開的組織架構圖、供應商關係、職缺公告和內部文件,使建立令人信服的誘餌變得更容易。攻擊者能抓取的背景資訊越多,他們的訊息就越可信。減少不必要的暴露直接限制了 AI 驅動的目標定位的有效性。 - 培訓必須反映真實攻擊。
通用的網路釣魚範例無法讓用戶為引用真實工具、真實專案和真實人物的訊息做好準備。演練需要反映團隊實際看到的內容,而不是過濾器用來捕捉的內容,否則信任將繼續被誤置。 - 內部 AI 系統需要生產級審查。
助理和聊天機器人應該像任何其他關鍵服務一樣對待。存取應該被記錄。權限應該最小化。使用模式應該被監控。如果攻擊者能從內部 AI 工具提取背景資訊,他們會在下一波攻擊中重複使用它。
展望未來
AI 驅動的攻擊不會改變基本面。社交工程仍然有效,因為人們信任看起來熟悉的東西,而 AI 使這種熟悉感更廉價且更容易大規模複製。
電子郵件仍然是主要的傳遞管道,因為它連接一切。供應商、發票、密碼重設、雲端應用程式、內部工作流程。即使在具有成熟控制的環境中,它仍然位於大多數事件的起點。
更大的風險是內部的。未經管理的 AI 採用創造了攻擊者可以重複使用、自動化和改進的背景資訊。直接應對該暴露風險的團隊減少了電子郵件驅動的事件,並避免向攻擊者提供他們本不需要自己生成的材料。
