網站經營者這下真的頭痛了。過去網路世界有個「互惠默契」，引用內容通常會附上連結導流，但在生成式 AI 崛起後，這個平衡似乎徹底崩壞。最新消息指出，Anthropic 與 OpenAI 等巨頭的網路爬蟲正瘋狂抓取資料，卻幾乎不回饋任何流量，讓內容網站不僅收益縮水，伺服器成本還被這些「不速之客」搞得暴增。
傳統網路運作仰賴一種隱形契約：人工編輯引用消息時會標註來源，讓讀者能點擊回到原始網站，為創作者帶來流量。然而，現在的 AI 聊天機器人直接讀取資料後生成答案，使用者根本不需要造訪原始網站。這導致網站內容被 AI「吸血」後，卻得不到應有的流量回饋。
網路安全巨頭 Cloudflare 結合 Business Insider 的報導指出，為了量化這種不公平現象，他們從 2025 年開始追蹤各大科技公司的「抓取回流比」（Fetch to Feed ratio）。這個指標簡單來說，就是計算平台「拿走」了多少內容，對比它「回饋」了多少流量。例如「100:1」就代表爬蟲抓了 100 次，卻只貢獻 1 次點擊。
統計結果相當難看，其中 Anthropic 的數據表現最差，抓取量巨大但導流效果微乎其微；OpenAI 也不遑多讓，同樣屬於「拿得多、給得少」的類型。這顯示這兩家 AI 巨頭正從開放網路中獲取龐大價值，卻讓內容生產者承擔損失。
更慘的是，這些爬蟲不只不帶財，還會「破財」。Business Insider 去年底的調查就發現，Anthropic 和 OpenAI 的爬蟲抓取頻率高得驚人。一名開發者無奈透露，短短幾個月內，因為 AI 爬蟲暴增，他的雲端服務帳單直接翻倍。這意味著，內容網站站長不僅營收下滑，還得自掏腰包支付頻寬費用，變相免費幫 AI 公司訓練模型。
- 延伸閱讀：Google 終於出手了！怒告爬蟲公司 SerpApi，指控其「寄生」搜尋引擎竊取資料轉賣
- 延伸閱讀：被 AI 爬蟲「爬爆」伺服器之後，維基百科選擇了無奈投降
- 延伸閱讀：ChatGPT Search用的是微軟Bing搜尋技術，還用了三個不同的爬蟲機器人
