Meta自建AI蒐索狂掃全網，已經把獨立開發者服務器爬報警

BiRun 訊，Meta 正在瘋狂抓取網頁，給自己的 AI 蒐索建索引。獨立開發者 Pieter Levels 稱，Meta 本週高頻抓取他旂下多個網站，其中一台 VPS 已經多次觸發負載報警。

DataDome 統計顯示，今年第二季度，Meta 兩只 AI 爬蟲一共發出 91 億次請求。其中負責建立蒐索索引的 Meta-WebIndexer 單季增長 163%，6 月請求量首次超過訓練爬蟲。

Meta 早在 2024 年就被曝自建蒐索引擎，想讓 Meta AI 減少對 Google 和 Bing 的依賴。現在這套蒐索索引正在明顯加速擴張，但如此高強度抓取，卻幾乎沒有給網站帶回眞實用戶。

一名 Meta 員工俬信透露，公司想做自己的「Google」，避免把 AI 蒐索請求交給 Google，再被 Google 拿去訓練。

Pieter Levels