從身分驗證到行為評等
Cloudflare 不再僅確認爬蟲的身分與宣稱用途，而是引入「信任評等」機制。系統會持續觀察已驗證機器人（Verified Bots）是否遵守網站的抓取規則，特別是在收到降低請求頻率的指令後是否配合。這種轉變意味著，即使擁有合法身分，若長期無視網站偏好或過度存取，仍可能被視為不可信。目前該機制已在 Cloudflare 內部運行，未來預計開放給客戶，讓網站管理者能自行設定信任門檻，決定如何處理不同評等的爬蟲流量。
關鍵依據：robots.txt 與 HTTP 429
評估系統主要參考兩大指標。首先是 robots.txt 檔案，雖然它本身不具強制阻擋效力，但 Cloudflare 會檢查爬蟲是否反覆存取網站列出的受限路徑，著重於長期、重複的違規行為，而非單次異常。其次是 HTTP 429 狀態碼，當網站因短時間請求過多而要求爬蟲減速時，系統會觀察爬蟲是否真的放慢或暫停。長期配合能提升信任度，反覆忽略則會降低評等，因為即使只抓取允許內容，過於密集的請求仍會造成網站負擔。
市場動態與未來展望
Cloudflare 對無視規則的行為態度明確，例如在 2025 年曾將 Perplexity 爬蟲移出已驗證名單，指控其無視拒絕抓取的要求並試圖繞過封鎖。未來，這些長期觀察結果將整理成公開的信任區間，並在 Cloudflare Radar 上展示評等與影響因素。這將搭配既有的爬蟲偏好設定與流量管理功能，讓企業能更精準地篩選對網站友善的機器人流量。