事件回顧
2026 年 7 月，Cloudflare 宣佈新政策：要求 AI 公司在 9 月 15 日前將用於搜尋的爬蟲與用於訓練的爬蟲分離——否則在使用 Cloudflare 服務的發佈者網站上會被預設封鎖。
表面上看，這是一道「技術分流」的決定。實際上，Cloudflare 在做的是：用技術手段強行對 AI 訓練數據收集進行道德評價。
為什麼這很關鍵
### 1. 基礎設施方的權力真空
Cloudflare 不生產內容、不訓練模型、也不出版新聞——它是全球數百萬網站背後的 DNS 與 DDoS 防護層。按照網路早期的理想，Cloudflare 應該對「流量來自誰、用於什麼目的」完全不知情。
但這個理想在三方利益衝突時崩塌了： - 發佈者說：我的內容不想被用來訓練 AI、只能用於搜尋。 - AI 公司說：爬蟲是爬蟲，我們無法區分搜尋引擎與訓練系統的目的。 - Cloudflare被卡在中間。
### 2. 「分離」其實是政治決定、不是技術決定
Cloudflare 的新政策，表面上要求 AI 公司「分離爬蟲」——這聽起來像是客觀的技術標準。
但「分離」本身代表一個價值判斷：搜尋爬蟲 = 合法使用、訓練爬蟲 = 需要被審查的使用。
實際上： - 搜尋引擎也在訓練模型（Google 用搜尋資料訓練 Gemini、Bing 用搜尋資料訓練 Copilot）。 - 沒有中立的技術方式來定義「這次爬取是為了搜尋」vs「這次爬取是為了訓練」——只能依靠自我宣告。 - Cloudflare 本質上是在要求 AI 公司做出「誠實」或「透明」的承諾——但這是一個政治與倫理要求，不是技術要求。
### 3. 誰掌握瓶頸、誰掌握規則
Cloudflare 服務了全球約 20% 的網站流量。這意味著，如果一個內容發佈者用 Cloudflare，而 Cloudflare 默認封鎖某類爬蟲，那麼除非 AI 公司願意遵守 Cloudflare 的規則，否則無法抓到該發佈者的內容。
這給了 Cloudflare 一個巨大的架構性權力：它不需要一一聯絡 AI 公司，只需要改一條預設規則，就能對全球數百萬網站的內容流向做出決定。
### 4. 被迫選邊的邏輯
Cloudflare 過去用「我們不審查內容」來作為品牌承諾。但當發佈者與 AI 公司的利益直接對衝時，Cloudflare 無法保持中立——因為：
- **如果什麼都不做**：發佈者會罵「你們幫著 AI 公司偷我們的內容」，可能切換到其他 CDN。
- **如果偏向發佈者**：AI 公司會抱怨「你們審查我們的爬蟲」，但它們通常無法自主選擇其他基礎設施（網站由發佈者選、不由爬蟲選）。
- **如果偏向 AI 公司**：發佈者會投票用腳，Cloudflare 失去客戶基礎。
Cloudflare 選了最有客戶基礎的一方——發佈者。這不是「中立」，而是市場力量的表現。
這個原則的跨時代意義
每一次基礎設施層出現，它最初都宣稱「中立」：
- **電話公司**：「我們只傳輸信號、不管內容。」→ 後來被迫配合政府監聽。
- **郵政系統**：「我們只遞送郵件、不審查。」→ 後來配合海關檢查危險品。
- **ISP**：「我們只提供連接、對流量不分青紅皂白。」→ 後來被迫配合著作權方封鎖盜版網站。
- **社群媒體**：「我們只是中介、用戶生成內容。」→ 後來配合政府、廣告主審查。
- **Cloudflare**：「我們只防 DDoS、對爬蟲無偏好。」→ 現在被迫區分爬蟲的目的。
：一旦基礎設施成為稀缺瓶頸、多方開始競爭通過它的資源（內容、數據、信號），中立就成為了奢侈品。基礎設施必須選邊站。